Наборы для оценки и метрики

Основа с Junior

Из чего собирать набор примеров и какими метриками проверять ответы.

Набор начинают с реальных запросов пользователей и известных ошибок; дополняют сложными и краевыми случаями. 50–100 хорошо подобранных примеров полезнее тысячи случайных.
Каждый найденный в работе баг становится новым примером набора.
Проверки по правилам там, где возможно: формат JSON, наличие ссылки, точное совпадение категории, вызван ли нужный инструмент.
Метрики классификации и извлечения — точность, полнота, F1 по полям.
Для свободного текста — оценка по критериям (верность источникам, полнота, тон) человеком или моделью-судьёй.
Метрики BLEU и ROUGE для ответов LLM почти бесполезны — они меряют совпадение слов, а не правильность.
Набор версионируется вместе с кодом и промптами.

Критерии освоения

Практика. Собрать набор из 50 примеров для своего ассистента и скрипт, который прогоняет его и печатает отчёт.

Практика. Встроить прогон набора в CI с отчётом по сценариям и порогом, который блокирует слияние при падении качества.

Выстраивает в команде систему оценки с порогами, блокирующими выкатку, и владельцами наборов

Практика. Описать и внедрить процесс оценки качества для команды из нескольких LLM-функций.

Как оценивать качество ответов LLM? Middle
Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.
Как улучшить качество RAG, если он отвечает плохо? Middle
Сначала понять, где ломается: не нашли нужное (поиск) или нашли, но ответили плохо (генерация) — и чинить соответствующий этап.
Как построить в команде систему оценки качества LLM-продукта? Senior
Оценка — инфраструктура, как тесты в CI. Набор примеров из реальных запросов и найденных ошибок, разбитый по сценариям; проверки по правилам там, где возможно, и калиброванный…

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.