Наблюдаемость

Основа с Middle

Трассировка вызовов, логирование промптов и ответов, метрики качества и затрат.

Каждый вызов модели: промпт (или его версия и переменные), ответ, модель, параметры, токены, задержка, стоимость.
Для RAG — найденные фрагменты и их оценки.
Для агентов — трассу: все шаги, вызовы инструментов, ошибки.
Обратную связь пользователя, привязанную к ответу.

Инструменты: Langfuse (можно развернуть у себя), LangSmith, Phoenix, а также стандарт OpenTelemetry для LLM.
Метрики: задержка (p50, p95, время до первого токена), доля ошибок провайдера, стоимость на запрос и на пользователя, доля отказов модели.
Алерты на рост стоимости и ошибок провайдера.
Логи содержат персональные данные — маскирование и ограничение доступа.

Критерии освоения

Трассирует каждый вызов модели, поиск и инструменты с версиями, токенами и стоимостью
Строит дашборд задержки, ошибок и стоимости и настраивает алерты

Практика. Подключить Langfuse или аналог к своему RAG-сервису и найти по трассам 3 причины плохих ответов.

Проводит разбор падения качества по трассам и метрикам и доводит до исправления причин

Практика. Провести учебный разбор инцидента «качество упало» с поиском причины по трассам и письменным отчётом.

Как наблюдать за LLM-приложением в продакшене? Middle
Трассировать каждый шаг: промпт и ответ, найденные документы, вызовы инструментов, модель и версию промпта, токены, стоимость, задержку (TTFT и общую). Плюс качество…
Как работает Prometheus и какие типы метрик в нём есть? Middle
Prometheus сам опрашивает (pull) эндпоинты /metrics целей, найденных через service discovery, и хранит временные ряды. Типы: counter — только растёт (запросы, ошибки), смотрят…
Качество ответов ассистента внезапно упало. Как будете разбираться? Senior
Сначала подтвердить и измерить: метрики качества, жалобы, доля передачи оператору — по сценариям и с момента начала. Затем искать что изменилось: выкатки кода, промптов и…

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.