Дешёвая модель или дорогая: сколько стоит один правильный ответ

Цену принятого результата считают как весь расход на проверяемый набор задач, делённый на число принятых результатов. При выборе модели добавляют стоимость исправлений и невыполненных заданий. Ниже — методика расчёта на условных примерах.

Два лотка с ровными и смятыми карточками ответов и монетами рядом

Стоимость принятого результата показывает, сколько денег вы потратили на полезный итог, включая неудачные попытки. Для выбора модели её нужно сопоставить с долей выполненных задач, сроками ответа и ценой доработки.

Для расчёта используем условные модели A и B с заданными ценами и долей принятых результатов.

Как определить правильный ответ до сравнения

Сначала запишите правило принятия результата. Для классификации это может быть правильная категория. Для извлечения данных — совпадение нужных полей с эталоном. Для кода — прохождение подходящих проверок и соблюдение требований задания.

Один красивый ответ не показывает долю успеха на вашем потоке. OpenAI рекомендует проверки, отражающие конкретные задачи, и согласование автоматической оценки с человеческой. Рекомендации по оценке.

Задача Пример критерия принятия
Категория обращения Метка совпадает с заранее проверенным эталоном
Данные из документа Обязательные поля совпадают; отсутствующие данные не выдуманы
Ответ по базе знаний Утверждения подтверждены указанными фрагментами
Изменение кода Выполнены требования и пройдены проверки
Текст для публикации Выполнены правила редакции и факты подтверждены

Для каждого критерия определите допустимую доработку. Результат, требующий ручного переписывания, нельзя без оговорки считать успешным автоматическим ответом.

Формула цены принятого результата

Цена принятого результата = общий расход проверяемого прогона ÷ число принятых уникальных задач.

В расход входят все вызовы модели, оплачиваемый вход и выход, кеш, платные инструменты, повторные попытки и оценка, если она платная. Определите состав суммы до прогона и применяйте его к обеим моделям одинаково.

Если принятых результатов нет, метрика не имеет конечного значения. Нулевой успех не нужно скрывать пустой строкой или нулевой ценой.

Рядом показывайте долю принятия = принятые задачи ÷ все задачи. Без неё модель, которая дешёво отвечает только на небольшую часть заданий, может выглядеть выгоднее, чем она есть для продукта.

Учебный пример: дешёвый запрос и ручные исправления

Зададим одинаковые 1 000 задач для условных моделей A и B. После разрешённых попыток A потратила 100 ₽ и дала 700 принятых результатов. B потратила 300 ₽ и дала 980.

Заданный показатель Модель A Модель B
Расход API на весь набор 100 ₽ 300 ₽
Принятые задачи 700 980
Доля принятия 70% 98%
Расход API на принятый результат 0,143 ₽ 0,306 ₽
Задачи для доработки 300 20

По одной цене принятого автоматического результата A дешевле. Но она оставляет больше невыполненной работы.

Теперь зададим цену успешного ручного исправления 2 ₽ за каждую оставшуюся задачу. Предположим, доработка доводит весь набор до одинакового принятого качества:

  • A: 100 + 300 × 2 = 700 ₽ за 1 000 завершённых задач, или 0,70 ₽ на задачу.
  • B: 300 + 20 × 2 = 340 ₽ за 1 000 завершённых задач, или 0,34 ₽ на задачу.

Здесь B дешевле по стоимости полного выполнения набора. Если ручная работа имеет другую цену, вывод может измениться.

При какой цене исправления меняется выбор

В примере у B на 200 ₽ больше расход API, но на 280 меньше задач для доработки.

Порог цены исправления = (300 − 100) ÷ (300 − 20) ≈ 0,714 ₽.

При одинаковой цене успешного исправления выше этого порога B дешевле для полного выполнения набора. Ниже — A. На самом пороге расходы равны с учётом округления.

Для реального продукта добавьте ошибки с разной тяжестью. Исправить неверную метку и исправить отправленный клиенту ответ могут стоить по-разному. Если часть задач нельзя исправить, учитывайте и стоимость невыполнения.

Как учесть повторы и запасную модель

Привязывайте все попытки к одному идентификатору задачи. Если первый вызов был неверным, а второй правильным, в числителе остаются обе оплаты, а в знаменателе — один принятый итог.

Отдельно оцените каскад: сначала недорогая модель, затем более сильная только на задачах, не прошедших проверку. Добавьте стоимость проверки и вызовов запасной модели. Каскад имеет смысл, когда проверка действительно обнаруживает ошибки; иначе неверный ответ может уйти пользователю как принятый.

Без данных не применяйте формулу независимых повторов к доле успеха. Ошибки одной модели на похожих заданиях могут повторяться, поэтому результат после нескольких попыток нужно измерить.

Как провести проверку на своих заданиях

  1. Соберите набор, похожий на рабочие запросы: простые, сложные, длинные и неоднозначные случаи.
  2. Подготовьте эталоны или понятную шкалу принятия до просмотра ответов.
  3. Зафиксируйте версии моделей, маршруты, промпты, параметры и предел попыток.
  4. Прогоните один и тот же набор. Настройки должны быть осмысленными для каждой модели, а условия сравнения — описанными.
  5. Сохраните все оплачиваемые шаги и итог по каждой задаче.
  6. Проверьте результаты без показа оценщику названия модели, где это возможно.
  7. Повторите сравнение, если результаты близки или расход сильно меняется между прогонами.

Не оценивайте итог по одному удачному примеру. Для генеративной модели одинаковый вход может дать разный ответ; это учитывают практики оценки OpenAI.

Что включить в таблицу результатов

Сохраните число уникальных задач и попыток, долю принятия, весь расход, стоимость принятого результата, время ответа и доработку. Для строки модели укажите точную версию, дату, поставщика и тариф.

Сверьте сумму вызовов со списанием провайдера. Общие индексы качества используйте для выбора кандидатов, а не как готовую вероятность правильного ответа на вашей задаче.

В каталоге API выберите кандидатов по возможностям и ставкам. Через подбор под бюджет оцените расход токенов, затем сравните итог на одном наборе задач. Если рассматриваете свой сервер, примените ту же проверку к локальной модели.

Частые вопросы

Почему нельзя сравнить модели только по цене токена?

Модели могут расходовать разный объём токенов, делать разное число шагов и давать разную долю пригодных результатов на ваших заданиях.

Являются ли числа в статье результатами теста моделей?

Нет. Это заданные учебные сценарии для проверки формул. Статья не присваивает реальным моделям проценты успешности.

Как учитывать повторные запросы?

Включайте их стоимость в исходную задачу. Итоговую долю принятия считайте по уникальным заданиям после разрешённого числа попыток.

Можно ли использовать общий рейтинг качества?

Он помогает выбрать кандидатов. Для расчёта стоимости вашего результата нужна проверка на ваших заданиях с заранее заданным правилом принятия.

Читайте также