Пакетный API снижает цену отложенной обработки, если нужная модель и маршрут поддерживают Batch. Это отдельный режим: одновременная отправка обычных запросов сама по себе скидки не даёт.
Сравнение ниже охватывает два посредника с найденными публичными инструкциями, а не всех провайдеров каталога.
Для каких заданий подходит Batch
Пакет удобно использовать для разметки архива обращений, перевода каталога, генерации описаний и расчёта эмбеддингов. Задания должны допускать отложенный результат и не зависеть от мгновенного ответа предыдущей строки.
OpenAI документирует для своего Batch скидку 50%, отдельные лимиты и окно выполнения 24 часа. Правила разработчика. У посредника нужно заново проверить модели, формат, цену и ограничения.
Для пользовательского чата срок может быть неприемлемым. Для ночной обработки важнее успеть к заданному времени и корректно сохранить результаты.
Что документируют AITUNNEL и ProxyAPI
| Условие | AITUNNEL | ProxyAPI |
|---|---|---|
| Поддержка | Модели с полем batch в каталоге | Пакетные механизмы OpenAI, Anthropic и Google |
| Форма отправки | Массив requests в теле запроса | У OpenAI — загруженный JSONL; у Anthropic и Google — список в теле |
| Ограничение пакета | Одна модель, один endpoint, до 10 000 запросов | Формат и endpoint зависят от разработчика модели |
| Получение ответа | Статус и результаты в ответе GET пакета | У OpenAI результат скачивается через output_file_id |
| Отмена | Не предусмотрена; DELETE удаляет завершённые данные | Для незавершённого OpenAI-пакета документирован cancel |
Источники: Batch AITUNNEL и Batch ProxyAPI. Это заявленные возможности. Мы не отправляли платные пакеты в рамках подготовки материала.
Не считайте поддержку обычного OpenAI-совместимого чата доказательством поддержки Batch. Даже одинаковый путь /v1/batches может принимать разное тело запроса.
Сколько стоят 10 000 заданий
Для расчёта возьмём GPT-5 Mini у AITUNNEL. На проверенной странице базовый обычный тариф — 50 / 400 ₽, пакетный — 25 / 200 ₽ за миллион входных / выходных токенов. Источник тарифов.
Зададим 1 000 входных и 300 общих оплачиваемых выходных токенов на каждое из 10 000 заданий. Кеша, поиска и других платных операций в сценарии нет.
Обычный вызов = (1 000 × 50 + 300 × 400) ÷ 1 000 000 = 0,17 ₽.
Пакетная строка = (1 000 × 25 + 300 × 200) ÷ 1 000 000 = 0,085 ₽.
| Заданный объём | Обычная обработка | Batch |
|---|---|---|
| 1 000 заданий | 170 ₽ | 85 ₽ |
| 10 000 заданий | 1 700 ₽ | 850 ₽ |
| 100 000 заданий | 17 000 ₽ | 8 500 ₽ |
Последняя строка — сумма нескольких пакетов; она не расширяет лимит одного пакета. Расчёт предполагает одинаковый расход токенов и отсутствие ошибок. У reasoning-модели выход включает оплачиваемое рассуждение, а не только видимый текст.
AITUNNEL отдельно предупреждает, что скидка не всегда распространяется на кеш и веб-поиск. Условия пакетной оплаты. Поэтому нельзя просто делить пополам весь счёт сложного агента.
Как подготовить задания и сохранить результаты
- Дайте каждому заданию постоянный уникальный
custom_id. Храните связь с исходной записью у себя. - Проверьте несколько примеров синхронно: модель, формат ответа и критерий принятия.
- Сформируйте пакет в формате конкретного поставщика. Не смешивайте модели или несовместимые схемы.
- Сохраните идентификатор созданного пакета до ожидания результата.
- Получите результаты и сопоставьте их по
custom_id, а не по порядку. - Проверьте каждую строку: ошибка, незавершённый ответ, формат и смысл.
- Повторите только те задания, которые требуют обработки.
Для ProxyAPI OpenAI результаты могут приходить в другом порядке; это прямо указано в инструкции. Привязка по идентификатору защищает от записи ответа не в тот товар или обращение.
Что делать при ошибке или прерывании
Отделяйте ошибку создания пакета от ошибки отдельных строк. Успешное создание не подтверждает, что каждое задание выполнено. Повторная отправка всего пакета может снова оплатить уже готовые результаты.
Если соединение оборвалось после отправки, сначала проверьте, появился ли пакет у провайдера. Ведите локальное состояние отправки, чтобы перезапуск вашего процесса не дублировал работу.
Для отмены выясните, какие уже выполненные строки остаются оплачиваемыми. Наличие метода cancel не означает возврат всей суммы. У AITUNNEL удаление завершённых данных вообще не является отменой.
Какие расходы добавить к токенам
В бюджет входят проверочные вызовы, повторы, генерация сверх ожидаемой длины, платные инструменты и обработка результатов. AITUNNEL отдельно описывает резерв: при создании пакета деньги удерживаются до расчёта фактического расхода. Резерв временно уменьшает доступный баланс, но ещё не является списанием. Правила расчёта пакета.
Проверяйте срок хранения результатов и правила обработки данных до загрузки. В тестовый пакет положите вымышленные задания; реальные обращения клиентов требуют отдельной проверки условий передачи.
Начните со страницы модели и каталога API, затем откройте пакетную документацию выбранного поставщика. Базовую оценку токенов можно получить в подборе API, а скидку применить только к тем категориям, для которых она опубликована.
