Что такое RAG и как он устроен?

Зачем. Модель не знает ваших внутренних документов и событий после даты обучения, а дообучать её ради фактов дорого и ненадёжно. RAG подкладывает нужные знания в контекст в момент запроса.

Индексация (заранее):

1. загрузить документы и извлечь текст (PDF, вики, тикеты);
2. разрезать на фрагменты (chunking) с метаданными — источник, раздел, дата, права;
3. посчитать эмбеддинги фрагментов;
4. сохранить в индекс — векторный и часто полнотекстовый.

Ответ на запрос:

1. при необходимости переформулировать вопрос (учесть историю диалога);
2. найти top-k фрагментов: векторный или гибридный поиск, фильтры;
3. переранжировать и отобрать лучшие;
4. собрать промпт: инструкция отвечать только по контексту, фрагменты с пометками источников, вопрос;
5. сгенерировать ответ со ссылками на источники.

Где ломается: не нашёлся нужный фрагмент (самая частая проблема), нашёлся, но модель его не использовала или исказила, фрагменты противоречат друг другу. Поэтому поиск и генерацию оценивают отдельно.

Ассистент поддержки: «Можно ли вернуть товар после 14 дней?» → поиск по базе правил → два фрагмента о возвратах → ответ «Да, если товар не использовался: до 30 дней по программе лояльности (Правила возврата, п. 4.2)».