Сильная модель оценивает ответы другой (или той же) модели по чёткой рубрике: верность фактам из контекста, полнота, следование формату. Это масштабирует оценку там, где точного ответа нет. Ловушки: смещение к позиции (в сравнении пар выигрывает первый или второй), к длине (длиннее — «лучше»), к своему стилю; судья ошибается — его нужно калибровать по человеческой разметке.
А ещё Где ответ проверяется кодом (формат JSON, точное значение) — проверяют кодом, а не судьёй
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Где применяют: регрессионные тесты промптов и RAG-конвейера, сравнение моделей и версий, мониторинг качества в продакшене на выборке реальных запросов.
Как сделать надёжнее:
Типовые метрики RAG, которые считают судьёй: faithfulness (всё ли в ответе подтверждается найденными документами), answer relevance, context relevance. Фреймворки: Ragas, DeepEval, promptfoo.
Ограничение: судья не заменяет человеческую проверку на сложных и рискованных доменах, а метрики, которые оптимизируют напрямую, со временем перестают отражать качество.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto