sottoМодель-судья получает вопрос, ответ, иногда эталон и критерии и выносит оценку. Это позволяет проверять тысячи ответов без людей.
Что важно знать
- Конкретные критерии («ответ использует только факты из документов: да/нет») надёжнее шкал «от 1 до 10».
- Калибровка: сравнить оценки судьи с оценками людей на выборке; без этого судья — непроверенная метрика.
- Известные перекосы: предпочтение длинных ответов, своих собственных ответов, первого варианта в паре.
- Попарное сравнение двух версий часто устойчивее абсолютной оценки.
- Судья стоит денег — его вызовы учитывают в бюджете экспериментов.