Что такое галлюцинации LLM и как с ними бороться?

Почему возникают. Модель обучена продолжать текст правдоподобно. Когда нужного знания нет, устарело или вопрос неоднозначен, она всё равно генерирует уверенный ответ: выдуманные ссылки, функции библиотек, цифры. Усиливают проблему узкие темы, свежие события, длинные цепочки рассуждений и вопросы с ложной предпосылкой («почему X сделал Y», если он не делал).

Как снижать:

• дать факты в контексте — RAG: подобрать документы и попросить отвечать только по ним, со ссылками на источник;
• разрешить не знать — явно указать, что при нехватке данных нужно ответить «нет информации»;
• инструменты — расчёты, поиск, запросы к базе выполняет код, а не модель «по памяти»;
• ограничить формат — JSON-схема, выбор из списка, проверка результата кодом;
• проверка — второй проход модели или правило, которое сверяет ответ с источниками;
• продукт — показывать источники, просить подтверждение для важных действий.

Измерение. Частоту галлюцинаций проверяют на наборе вопросов с известными ответами: доля ответов, которые не подтверждаются контекстом (faithfulness, groundedness).