Кеш промпта снижает стоимость повторяющегося входа, если API нашёл подходящий сохранённый префикс. Это начало запроса, которое остаётся одинаковым: инструкции, примеры, часть документов или истории. Ответ модель генерирует заново. Механизм описан в документации OpenAI.
Тарифы ниже взяты из каталога на 8 октября и сверены со страницей посредника. Объёмы запросов заданы для расчёта, а не получены в тесте.
Какая часть запроса становится дешевле
Разделите расходы на обычный вход, чтение кеша, запись кеша, выход и дополнительные операции. У каждого маршрута могут быть свои ставки и условия записи.
Скидка на чтение кеша не означает такую же скидку на весь запрос. Если основная часть денег уходит на генерацию ответа или поиск в интернете, экономия на входе затронет меньшую долю счёта.
Кеш промпта отличается от сохранения готовых ответов в вашем приложении. Во втором случае вы сами решаете, можно ли вернуть старый ответ без обращения к модели. Здесь рассматриваем именно кеш входа на стороне API.
Как посчитать стоимость и не перепутать usage
Для расчёта сначала приведите счётчики к непересекающимся категориям:
Цена токенов = (обычный вход × его ставка + чтение кеша × его ставка + запись кеша × её ставка + выход × его ставка) ÷ 1 000 000.
Дополнительные услуги прибавляются отдельно. В формуле ставки заданы за миллион токенов.
| Формат ответа | Как разобрать вход |
|---|---|
| OpenAI Responses | Чтение — input_tokens_details.cached_tokens, запись на поддерживаемых моделях — input_tokens_details.cache_write_tokens; обычный вход = input_tokens − cached_tokens − cache_write_tokens. Для моделей без отдельной категории записи используйте правила их usage |
| Anthropic Messages | input_tokens, cache_read_input_tokens и cache_creation_input_tokens — отдельные категории; общий вход складывается из них |
| API посредника | Сверьте смысл полей с его документацией и списанием в кабинете |
У OpenAI на новых моделях встречается отдельная ставка записи кеша. Она заменяет обычную ставку для этих токенов, а не прибавляется поверх неё. Правило «первый запрос стоит как обычный» переносить между моделями нельзя. Учёт и тарифы OpenAI. Разделение трёх входных категорий Anthropic подтверждено в документации кеширования Claude.
Если API возвращает общую стоимость запроса, детализация токенов помогает её объяснить. Не прибавляйте рассчитанную стоимость токенов поверх уже полного списания.
Пример: 90% скидки на кеш дают 38% экономии серии
Возьмём базовый тариф GPT-5 Mini у AITUNNEL: обычный вход 50 ₽, выход 400 ₽, чтение кеша от 5 ₽ за миллион токенов. На странице есть диапазоны цен для разных маршрутов; расчёт использует нижние базовые значения, без расширенных условий. Источник тарифа.
Зададим 20 вызовов. Каждый получает 10 000 входных токенов и генерирует 1 000 оплачиваемых выходных. Из входа 8 000 токенов повторяются, а 2 000 меняются. Предположим, что первый вызов полностью оплачивается как обычный вход, а на следующих 19 повторяющаяся часть читается из кеша по 5 ₽. Отдельной платы за запись в этом учебном сценарии нет.
| Сценарий | Расчёт одного вызова | Цена |
|---|---|---|
| Без попадания в кеш | (10 000 × 50 + 1 000 × 400) ÷ 1 000 000 | 0,90 ₽ |
| С чтением 8 000 токенов из кеша | (2 000 × 50 + 8 000 × 5 + 1 000 × 400) ÷ 1 000 000 | 0,54 ₽ |
Без кеша серия стоит 20 × 0,90 = 18 ₽. При заданных попаданиях — 0,90 + 19 × 0,54 = 11,16 ₽. Экономия 6,84 ₽, или 38%.
Это условный сценарий с одинаковым выходом. Он не гарантирует число попаданий и не показывает качество модели. Если маршрут отдельно тарифицирует создание кеша, включите эту строку в первый вызов и во все последующие записи.
Что проверить, если cached_tokens равен нулю
Начните с одинакового начала запроса. Переменные данные, время, случайные идентификаторы или перестановка инструментов в начале могут изменить префикс. Стабильную часть обычно удобно поставить первой, а текущий вопрос — после неё.
Далее проверьте минимальную длину кешируемого префикса, срок хранения, поддержку модели и способ включения кеша. Эти условия отличаются. Например, Anthropic документирует короткий и часовой срок с разной ценой записи; применять их к любому API нельзя. Условия Claude.
У агрегатора добавляется маршрутизация: одинаковая модель может отправляться разным поставщикам. AITUNNEL описывает закрепление повторных запросов за маршрутом и особенности кеша в разных форматах API. Документация посредника. Это заявленные правила сервиса, а не наш тест попаданий.
Как проверить скидку у посредника
- Выберите конкретную модель и маршрут с опубликованной ставкой чтения кеша.
- Отправьте несколько запросов с одинаковым достаточно длинным префиксом и разным вопросом в конце.
- Сохраните время, модель, категории входа и выхода, стоимость каждого вызова.
- Сравните расчёт со списаниями. Проверяйте отдельно появление кеша и применение его тарифа.
- Повторите проверку после паузы и после изменения префикса, чтобы понять поведение вашего сценария.
Не используйте данные клиентов для такого теста: длинный вымышленный документ даёт возможность проверить механику без передачи реальной переписки.
Как учитывать кеш в бюджете
Для верхней оценки не закладывайте скидку на чтение. Если запись кеша дороже обычного входа, считайте потенциально записываемые токены по ставке записи. Для рабочего прогноза используйте измеренную долю чтения и стоимость создания кеша. Доля кешированных токенов полезнее числа запросов с хотя бы одним попаданием.
В каталоге API сравните ставки модели, а в подборе под бюджет посчитайте базовый расход. Для сценария с кешем сделайте отдельный расчёт по категориям: обычная оценка входа и выхода не заменяет учёт кеша.
