Как оценивать качество ответов LLM?

Ответы LLM недетерминированы, а «улучшение» на одном примере легко ломает другие. Поэтому качество меряют на наборе.

Тестовый набор (golden set): реальные запросы разной сложности, крайние случаи, вопросы без ответа, попытки взлома. Для каждого — ожидаемый ответ или критерии.

Метрики по типу задачи:

• классификация и извлечение — точность, полнота, F1, доля валидного JSON;
• RAG — отдельно поиск (recall@k) и ответ: соответствие контексту (faithfulness), релевантность, полнота;
• открытые ответы — оценка по рубрике людьми или моделью-судьёй.

LLM-as-a-judge — другая модель оценивает ответ по рубрике. Быстро и дёшево, но у судьи есть перекосы: предпочитает длинные ответы, свой стиль, первый вариант при сравнении. Поэтому рубрика должна быть конкретной, порядок вариантов — перемешан, а согласие судьи с людьми — проверено на выборке.

Процесс: прогон набора как регрессионный тест при каждом изменении, сравнение с базовой версией, несколько прогонов из-за случайности. В продакшене — сбор обратной связи, разбор неудачных диалогов и пополнение набора.

Отдельно меряют стоимость и задержку — улучшение качества может быть слишком дорогим.