Стоимость принятого результата показывает, сколько денег вы потратили на полезный итог, включая неудачные попытки. Для выбора модели её нужно сопоставить с долей выполненных задач, сроками ответа и ценой доработки.
Для расчёта используем условные модели A и B с заданными ценами и долей принятых результатов.
Как определить правильный ответ до сравнения
Сначала запишите правило принятия результата. Для классификации это может быть правильная категория. Для извлечения данных — совпадение нужных полей с эталоном. Для кода — прохождение подходящих проверок и соблюдение требований задания.
Один красивый ответ не показывает долю успеха на вашем потоке. OpenAI рекомендует проверки, отражающие конкретные задачи, и согласование автоматической оценки с человеческой. Рекомендации по оценке.
| Задача | Пример критерия принятия |
|---|---|
| Категория обращения | Метка совпадает с заранее проверенным эталоном |
| Данные из документа | Обязательные поля совпадают; отсутствующие данные не выдуманы |
| Ответ по базе знаний | Утверждения подтверждены указанными фрагментами |
| Изменение кода | Выполнены требования и пройдены проверки |
| Текст для публикации | Выполнены правила редакции и факты подтверждены |
Для каждого критерия определите допустимую доработку. Результат, требующий ручного переписывания, нельзя без оговорки считать успешным автоматическим ответом.
Формула цены принятого результата
Цена принятого результата = общий расход проверяемого прогона ÷ число принятых уникальных задач.
В расход входят все вызовы модели, оплачиваемый вход и выход, кеш, платные инструменты, повторные попытки и оценка, если она платная. Определите состав суммы до прогона и применяйте его к обеим моделям одинаково.
Если принятых результатов нет, метрика не имеет конечного значения. Нулевой успех не нужно скрывать пустой строкой или нулевой ценой.
Рядом показывайте долю принятия = принятые задачи ÷ все задачи. Без неё модель, которая дешёво отвечает только на небольшую часть заданий, может выглядеть выгоднее, чем она есть для продукта.
Учебный пример: дешёвый запрос и ручные исправления
Зададим одинаковые 1 000 задач для условных моделей A и B. После разрешённых попыток A потратила 100 ₽ и дала 700 принятых результатов. B потратила 300 ₽ и дала 980.
| Заданный показатель | Модель A | Модель B |
|---|---|---|
| Расход API на весь набор | 100 ₽ | 300 ₽ |
| Принятые задачи | 700 | 980 |
| Доля принятия | 70% | 98% |
| Расход API на принятый результат | 0,143 ₽ | 0,306 ₽ |
| Задачи для доработки | 300 | 20 |
По одной цене принятого автоматического результата A дешевле. Но она оставляет больше невыполненной работы.
Теперь зададим цену успешного ручного исправления 2 ₽ за каждую оставшуюся задачу. Предположим, доработка доводит весь набор до одинакового принятого качества:
- A: 100 + 300 × 2 = 700 ₽ за 1 000 завершённых задач, или 0,70 ₽ на задачу.
- B: 300 + 20 × 2 = 340 ₽ за 1 000 завершённых задач, или 0,34 ₽ на задачу.
Здесь B дешевле по стоимости полного выполнения набора. Если ручная работа имеет другую цену, вывод может измениться.
При какой цене исправления меняется выбор
В примере у B на 200 ₽ больше расход API, но на 280 меньше задач для доработки.
Порог цены исправления = (300 − 100) ÷ (300 − 20) ≈ 0,714 ₽.
При одинаковой цене успешного исправления выше этого порога B дешевле для полного выполнения набора. Ниже — A. На самом пороге расходы равны с учётом округления.
Для реального продукта добавьте ошибки с разной тяжестью. Исправить неверную метку и исправить отправленный клиенту ответ могут стоить по-разному. Если часть задач нельзя исправить, учитывайте и стоимость невыполнения.
Как учесть повторы и запасную модель
Привязывайте все попытки к одному идентификатору задачи. Если первый вызов был неверным, а второй правильным, в числителе остаются обе оплаты, а в знаменателе — один принятый итог.
Отдельно оцените каскад: сначала недорогая модель, затем более сильная только на задачах, не прошедших проверку. Добавьте стоимость проверки и вызовов запасной модели. Каскад имеет смысл, когда проверка действительно обнаруживает ошибки; иначе неверный ответ может уйти пользователю как принятый.
Без данных не применяйте формулу независимых повторов к доле успеха. Ошибки одной модели на похожих заданиях могут повторяться, поэтому результат после нескольких попыток нужно измерить.
Как провести проверку на своих заданиях
- Соберите набор, похожий на рабочие запросы: простые, сложные, длинные и неоднозначные случаи.
- Подготовьте эталоны или понятную шкалу принятия до просмотра ответов.
- Зафиксируйте версии моделей, маршруты, промпты, параметры и предел попыток.
- Прогоните один и тот же набор. Настройки должны быть осмысленными для каждой модели, а условия сравнения — описанными.
- Сохраните все оплачиваемые шаги и итог по каждой задаче.
- Проверьте результаты без показа оценщику названия модели, где это возможно.
- Повторите сравнение, если результаты близки или расход сильно меняется между прогонами.
Не оценивайте итог по одному удачному примеру. Для генеративной модели одинаковый вход может дать разный ответ; это учитывают практики оценки OpenAI.
Что включить в таблицу результатов
Сохраните число уникальных задач и попыток, долю принятия, весь расход, стоимость принятого результата, время ответа и доработку. Для строки модели укажите точную версию, дату, поставщика и тариф.
Сверьте сумму вызовов со списанием провайдера. Общие индексы качества используйте для выбора кандидатов, а не как готовую вероятность правильного ответа на вашей задаче.
В каталоге API выберите кандидатов по возможностям и ставкам. Через подбор под бюджет оцените расход токенов, затем сравните итог на одном наборе задач. Если рассматриваете свой сервер, примените ту же проверку к локальной модели.
