Наблюдаемость, стоимость и задержка, кэширование, надёжность и развёртывание.
Прототип на LLM делается за день. Продакшен-система требует того же, что любой сервис, — мониторинга, надёжности, контроля затрат — плюс специфики: недетерминированные ответы, оплата за токены, зависимость от внешнего провайдера и его лимитов.
Этот этап — то, что отличает ИИ-инженера от человека, который «умеет писать промпты»: система работает под нагрузкой, укладывается в бюджет и её поведение видно и объяснимо.
Трассировка вызовов, логирование промптов и ответов, метрики качества и затрат.
Как сделать LLM-систему дешевле и быстрее — модели, кэш, пакетная обработка, промпты.
Повторы, резервные модели, лимиты, версии и выкатка изменений.
Трассировать каждый шаг: промпт и ответ, найденные документы, вызовы инструментов, модель и версию промпта, токены, стоимость, задержку (TTFT и общую). Плюс качество…
Платим и ждём за токены: меньше входа и выхода, модель по задаче, кэш, стриминг и параллельность.
На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.
sotto