sotto| приём | эффект |
|---|---|
| маленькая модель для простых задач, большая — для сложных (маршрутизация) | в разы дешевле |
| кэширование префикса промпта | дешевле и быстрее повторные запросы |
| семантический кэш одинаковых вопросов | мгновенный ответ, но риск неточного совпадения |
| короткие промпты и ограничение длины ответа | меньше токенов |
| пакетная обработка (batch API) для фоновых задач | обычно вдвое дешевле |
| потоковая выдача | ниже воспринимаемая задержка |
| параллельные вызовы | меньше общее время |
Что важно знать
- Считать стоимость на единицу результата (решённое обращение, обработанный документ), а не на запрос.
- Выходные токены дороже и медленнее входных.
- Модели рассуждений точнее, но тратят много скрытых токенов.
- Лимиты провайдера (запросов и токенов в минуту) — очередь и ограничение параллельности.