Быстрый API выбирают по времени до пригодного результата на своих запросах. Для чата дополнительно важен первый видимый текст, для фоновой обработки важны пропускная способность и расход на завершённую задачу.
Сравним условные маршруты по времени ответа, пропускной способности и стоимости задачи.
Какие времена нужно измерять
Запишите начало запроса, первый непустой фрагмент видимого текста, последний фрагмент и момент принятия результата приложением. HTTP-заголовки или первое служебное событие потока могут прийти раньше текста.
| Показатель | Что показывает | Где полезен |
|---|---|---|
| Время до первого видимого текста | Сколько пользователь ждёт начала ответа | Чат, помощник в редакторе |
| Время до полного ответа | Когда вся генерация закончилась | Длинный текст, код |
| Скорость видимого выхода | Как быстро приходит текст после начала | Продолжительные ответы |
| Время до принятого результата | Когда завершились генерация, проверка и нужные шаги | JSON, агент, обработка документов |
| Пропускная способность | Сколько задач завершается за период | Импорт и массовая обработка |
TTFT обычно расшифровывают как time to first token. Для проверки интерфейса заранее определите, что именно считается первым результатом: текст для пользователя, аргументы инструмента или готовый объект. Сравнивайте один и тот же показатель.
При потоковом JSON начало текста ещё не означает, что приложение может использовать весь объект. Если после ответа нужна проверка, преобразование или ещё один вызов модели, включите их в время до принятого результата.
Быстрый старт и быстрое завершение могут расходиться
Зададим два условных маршрута одной модели с ответом в 300 видимых токенов. Для иллюстрации считаем скорость выхода постоянной и используем приближение:
Время полного ответа ≈ ожидание первого текста + объём выхода ÷ скорость выхода.
| Заданный показатель | Маршрут A | Маршрут B |
|---|---|---|
| Ожидание первого текста | 0,4 секунды | 1,2 секунды |
| Скорость видимого выхода | 20 токенов/с | 75 токенов/с |
| Объём ответа | 300 токенов | 300 токенов |
| Приближённое время полного ответа | 15,4 секунды | 5,2 секунды |
A начинает раньше, B заканчивает раньше. Числа заданы нами, а приближение не учитывает размер первого фрагмента и колебания скорости. В реальном прогоне полное время нужно измерять, а не выводить из этой формулы.
Событие стрима не равно токену: один фрагмент может содержать несколько токенов, а другой только служебные поля. Не считайте количество событий скоростью генерации. При сравнении разных моделей укажите способ подсчёта видимого текста и различия токенизации.
Как провести сравнение в одинаковых условиях
Сначала выберите кандидатов по цене и возможностям. Для проверки провайдеров одной модели зафиксируйте её точную версию. Если сравниваете разные модели, одновременно оценивайте качество и расход: скорость сама по себе не показывает пригодность ответа.
| Условие | Что зафиксировать |
|---|---|
| Клиент | Место запуска, соединение и переиспользование подключения |
| Модель | Версию, маршрут и режим обслуживания |
| Запрос | Полный вход, инструменты, предел выхода и параметры reasoning |
| Кеш | Первый вызов отдельно от повторов; фактические счётчики кеша |
| Нагрузка | Последовательные вызовы и ожидаемую рабочую параллельность |
| Ошибки | Тайм-аут, код ответа, повтор и потраченные средства |
| Качество | Одинаковое заранее заданное правило принятия |
Для пилота можно задать набор из 100 запросов, похожих на рабочие, и провести его в разное время. Это предложенный размер начальной проверки, а не универсальный порог точности. Для надёжной оценки редких задержек потребуется больше наблюдений.
Чередуйте кандидатов небольшими группами: длинный прогон одного утром и другого вечером может смешать различия сервисов с изменением нагрузки. Отдельно отмечайте первые обращения и повторы с одинаковым префиксом, сохраняйте счётчики кеша для каждого маршрута.
Проверку под нагрузкой проводите в пределах подтверждённых квот, постепенно увеличивая поток. Для режима с параллельными вызовами нужно знать лимиты запросов и токенов. Замеры одиночных запросов не описывают очередь при рабочей нагрузке.
Почему среднего времени недостаточно
Медиана p50 описывает середину набора задержек. p95 показывает порог, в который укладываются примерно 95% наблюдаемых задержек; остальные находятся выше. Метод расчёта процентилей и размер набора зафиксируйте, особенно если наблюдений мало.
В отчёте показывайте p50 и p95 успешных ответов вместе с долей ошибок и долей всех задач, завершённых в нужный срок. Тайм-ауты не должны исчезать из отчёта только потому, что у них нет времени успешного завершения.
Для повторённой задачи отсчитывайте пользовательское ожидание от первой попытки. Отдельно можно показать время каждой попытки, но это другая метрика. Аналогично считайте полный расход всех попыток до принятого результата.
Что можно ускорить до смены провайдера
Сократите ненужный выход и последовательные обращения, проверьте подходящую по качеству модель и независимые шаги, которые можно выполнять параллельно. OpenAI описывает эти способы в руководстве по задержке.
Стриминг позволяет показывать получаемый текст раньше завершения генерации. Если сервер вашего приложения буферизует весь ответ, пользователь этого преимущества не получит. Измеряйте время и на сервере, и в интерфейсе, где появляется текст.
Для задачи с инструментами разделите время модели и внешних операций. Поиск, база данных и несколько последовательных шагов могут занимать существенную часть выполнения. Смена API не сокращает автоматически время этих операций.
Как устроена доплата за ускоренный режим
У разработчиков есть платные режимы ускорения, но условия различаются. OpenAI называет свой режим Fast и поддерживает service_tier: "fast" и прежнее значение "priority" для подходящих моделей. Для одной модели Standard и Fast используют общие ограничения нагрузки. Фактический режим проверяйте в service_tier ответа: применённый Fast для GPT-5.6 и более ранних моделей обозначается как priority, даже если запрошен fast. Правила Fast mode.
Claude описывает Fast как режим с отдельными квотами. Переключение между обычной и ускоренной обработкой меняет условия использования кеша: сохранённые префиксы между этими режимами не общие. Документация Claude Fast.
Через посредника сначала подтвердите поддержку режима и рублёвый тариф. Наличие параметра в SDK не доказывает, что выбранный маршрут его применяет.
Как посчитать цену ускорения
Официальный пример OpenAI на дату проверки: для GPT-5.6 Sol с коротким контекстом Standard стоит $4 за миллион обычных входных и $20 за миллион выходных токенов, Fast стоит $8 и $40 соответственно. OpenAI указывает промоцену Fast как действующую как минимум до 21 ноября 2026 года. Ставки Standard опубликованы в таблице цен, Fast и срок действия промоцены описаны в документации режима.
Зададим запрос с 2 000 токенов, полностью оплаченных как обычный вход, и 500 оплачиваемых выходных. Без чтения и записи кеша и дополнительных услуг:
- Standard: (2 000 × 4 + 500 × 20) ÷ 1 000 000 = $0,018.
- Fast: (2 000 × 8 + 500 × 40) ÷ 1 000 000 = $0,036.
- Доплата за 10 000 таких запросов: 10 000 × ($0,036 − $0,018) = $180.
Это расчёт заданного состава токенов по официальным долларовым ставкам, без обещания ускорения конкретного приложения. Реальные категории кеша, длины ответов и тариф посредника нужно учитывать отдельно. Рублёвую смету стройте по ставкам выбранного маршрута, а не по этому долларовому примеру.
Сопоставьте доплату с измеренным изменением времени и доли задач, завершённых в срок. Если ускорение не меняет полезный для продукта показатель, у него нет подтверждённой ценности для этой задачи.
Для фоновой обработки проверьте более дешёвые отложенные режимы. Flex у OpenAI допускает более медленную обработку и временную нехватку ресурсов; это иной компромисс цены и ожидания. Условия Flex. Для крупных партий рассмотрите Batch API.
В каталоге API сравните возможности и цены кандидатов. Затем заполните таблицу собственных измерений: версия и маршрут, p50, p95, доля ошибок, завершение в срок и стоимость принятого результата. Сохраните дату и условия прогона, чтобы повторить проверку после смены тарифа или маршрута.
