Кеширование промптов: как платить меньше за повторяющийся контекст

Кеширование снижает цену повторно обработанного входа. Новые данные и ответ оплачиваются отдельно. В нашем учебном примере 20 вызовов стоят 11,16 ₽ вместо 18 ₽: скидка на чтение кеша в 90% даёт экономию всей серии в 38%. Разберём условия, счётчики и проверку списаний.

Стопка одинаковых фиолетовых карточек у стеклянного лотка и монет

Кеш промпта снижает стоимость повторяющегося входа, если API нашёл подходящий сохранённый префикс. Это начало запроса, которое остаётся одинаковым: инструкции, примеры, часть документов или истории. Ответ модель генерирует заново. Механизм описан в документации OpenAI.

Тарифы ниже взяты из каталога на 8 октября и сверены со страницей посредника. Объёмы запросов заданы для расчёта, а не получены в тесте.

Какая часть запроса становится дешевле

Разделите расходы на обычный вход, чтение кеша, запись кеша, выход и дополнительные операции. У каждого маршрута могут быть свои ставки и условия записи.

Скидка на чтение кеша не означает такую же скидку на весь запрос. Если основная часть денег уходит на генерацию ответа или поиск в интернете, экономия на входе затронет меньшую долю счёта.

Кеш промпта отличается от сохранения готовых ответов в вашем приложении. Во втором случае вы сами решаете, можно ли вернуть старый ответ без обращения к модели. Здесь рассматриваем именно кеш входа на стороне API.

Как посчитать стоимость и не перепутать usage

Для расчёта сначала приведите счётчики к непересекающимся категориям:

Цена токенов = (обычный вход × его ставка + чтение кеша × его ставка + запись кеша × её ставка + выход × его ставка) ÷ 1 000 000.

Дополнительные услуги прибавляются отдельно. В формуле ставки заданы за миллион токенов.

Формат ответа Как разобрать вход
OpenAI Responses Чтение — input_tokens_details.cached_tokens, запись на поддерживаемых моделях — input_tokens_details.cache_write_tokens; обычный вход = input_tokens − cached_tokens − cache_write_tokens. Для моделей без отдельной категории записи используйте правила их usage
Anthropic Messages input_tokens, cache_read_input_tokens и cache_creation_input_tokens — отдельные категории; общий вход складывается из них
API посредника Сверьте смысл полей с его документацией и списанием в кабинете

У OpenAI на новых моделях встречается отдельная ставка записи кеша. Она заменяет обычную ставку для этих токенов, а не прибавляется поверх неё. Правило «первый запрос стоит как обычный» переносить между моделями нельзя. Учёт и тарифы OpenAI. Разделение трёх входных категорий Anthropic подтверждено в документации кеширования Claude.

Если API возвращает общую стоимость запроса, детализация токенов помогает её объяснить. Не прибавляйте рассчитанную стоимость токенов поверх уже полного списания.

Пример: 90% скидки на кеш дают 38% экономии серии

Возьмём базовый тариф GPT-5 Mini у AITUNNEL: обычный вход 50 ₽, выход 400 ₽, чтение кеша от 5 ₽ за миллион токенов. На странице есть диапазоны цен для разных маршрутов; расчёт использует нижние базовые значения, без расширенных условий. Источник тарифа.

Зададим 20 вызовов. Каждый получает 10 000 входных токенов и генерирует 1 000 оплачиваемых выходных. Из входа 8 000 токенов повторяются, а 2 000 меняются. Предположим, что первый вызов полностью оплачивается как обычный вход, а на следующих 19 повторяющаяся часть читается из кеша по 5 ₽. Отдельной платы за запись в этом учебном сценарии нет.

Сценарий Расчёт одного вызова Цена
Без попадания в кеш (10 000 × 50 + 1 000 × 400) ÷ 1 000 000 0,90 ₽
С чтением 8 000 токенов из кеша (2 000 × 50 + 8 000 × 5 + 1 000 × 400) ÷ 1 000 000 0,54 ₽

Без кеша серия стоит 20 × 0,90 = 18 ₽. При заданных попаданиях — 0,90 + 19 × 0,54 = 11,16 ₽. Экономия 6,84 ₽, или 38%.

Это условный сценарий с одинаковым выходом. Он не гарантирует число попаданий и не показывает качество модели. Если маршрут отдельно тарифицирует создание кеша, включите эту строку в первый вызов и во все последующие записи.

Что проверить, если cached_tokens равен нулю

Начните с одинакового начала запроса. Переменные данные, время, случайные идентификаторы или перестановка инструментов в начале могут изменить префикс. Стабильную часть обычно удобно поставить первой, а текущий вопрос — после неё.

Далее проверьте минимальную длину кешируемого префикса, срок хранения, поддержку модели и способ включения кеша. Эти условия отличаются. Например, Anthropic документирует короткий и часовой срок с разной ценой записи; применять их к любому API нельзя. Условия Claude.

У агрегатора добавляется маршрутизация: одинаковая модель может отправляться разным поставщикам. AITUNNEL описывает закрепление повторных запросов за маршрутом и особенности кеша в разных форматах API. Документация посредника. Это заявленные правила сервиса, а не наш тест попаданий.

Как проверить скидку у посредника

  1. Выберите конкретную модель и маршрут с опубликованной ставкой чтения кеша.
  2. Отправьте несколько запросов с одинаковым достаточно длинным префиксом и разным вопросом в конце.
  3. Сохраните время, модель, категории входа и выхода, стоимость каждого вызова.
  4. Сравните расчёт со списаниями. Проверяйте отдельно появление кеша и применение его тарифа.
  5. Повторите проверку после паузы и после изменения префикса, чтобы понять поведение вашего сценария.

Не используйте данные клиентов для такого теста: длинный вымышленный документ даёт возможность проверить механику без передачи реальной переписки.

Как учитывать кеш в бюджете

Для верхней оценки не закладывайте скидку на чтение. Если запись кеша дороже обычного входа, считайте потенциально записываемые токены по ставке записи. Для рабочего прогноза используйте измеренную долю чтения и стоимость создания кеша. Доля кешированных токенов полезнее числа запросов с хотя бы одним попаданием.

В каталоге API сравните ставки модели, а в подборе под бюджет посчитайте базовый расход. Для сценария с кешем сделайте отдельный расчёт по категориям: обычная оценка входа и выхода не заменяет учёт кеша.

Частые вопросы

Кешируется ли ответ модели?

В этой статье речь о кеше входного контекста. Модель генерирует новый ответ, и его выходные токены оплачиваются отдельно.

Почему скидка на кеш не равна скидке на весь запрос?

По льготному тарифу проходит только подходящий повторяющийся вход. Новый вход, выход и другие платные операции остаются в расчёте.

Как проверить экономию у посредника?

Сопоставьте категории usage с тарифами конкретного маршрута и фактическими списаниями. Само наличие кешированных токенов не доказывает, что посредник применил скидку.

Можно ли считать кеш гарантированной экономией?

Нет. Считайте сценарий без чтения кеша, включая возможную плату за его запись, и прогноз с измеренной долей попаданий. Обычная ставка входа не всегда даёт верхнюю оценку.

Читайте также