Как наблюдать за LLM-приложением в продакшене?

Question

Accepted Answer

Трассировать каждый шаг: промпт и ответ, найденные документы, вызовы инструментов, модель и версию промпта, токены, стоимость, задержку (TTFT и общую). Плюс качество: пользовательская обратная связь, автоматические оценки на выборке трафика, отслеживание дрейфа запросов. Обычные метрики сервиса (ошибки, задержки) тоже нужны, но их мало. Без трассировки агент — чёрный ящик: неясно, на каком шаге он ошибся Стоимость считают по пользователю, фиче и модели — иначе бюджет неуправляем Персональные данные в логах промптов маскируют Инструменты: Langfuse, LangSmith, Phoenix, OpenTelemetry с семантическими соглашениями для GenAI Что собирать: - трассы — дерево шагов запроса: поиск, реранкинг, вызовы модели, инструменты, с входами и выходами; - метрики — задержка (TTFT, полная), токены на входе и выходе, стоимость, доля ошибок и таймаутов провайдера, доля отказов модели; - качество — лайки и дизлайки, повторные вопросы, ручная разметка выборки, автоматические оценки (LLM-as-judge) на сэмплах; - версии — модель, промпт, параметры, конфигурация поиска: без этого регресс нельзя связать с изменением. Цикл улучшения: проблемные трассы из продакшена → пополнение оценочного набора → изменение промпта или конвейера → прогон оценки → выкатка. Оценочный набор, собранный из реальных отказов, ценнее любого бенчмарка. Безопасность и приватность: маскирование персональных данных, срок хранения, доступ к логам промптов только у нужных людей.

Как наблюдать за LLM-приложением в продакшене?

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени