Сначала подтвердить и измерить: метрики качества, жалобы, доля передачи оператору — по сценариям и с момента начала. Затем искать что изменилось: выкатки кода, промптов и конфигурации, версия модели у провайдера, данные в базе знаний и индекс, поведение пользователей, внешние зависимости (инструменты, поиск). По трассам плохих диалогов определить этап: поиск, контекст, генерация, инструмент. Смягчить откатом, исправить, добавить примеры в набор оценки.
А ещё После инцидента — разбор причин и проверка, которая поймала бы проблему раньше
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
План разбора:
Предпосылки, без которых это невозможно: версии всех компонентов в каждой трассе, онлайн-метрики по сценариям, быстрый откат конфигурацией.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto