Как улучшить качество RAG, если он отвечает плохо?

Диагностика. Для набора вопросов смотрим: был ли нужный фрагмент среди найденных (recall@k)? Если нет — проблема в поиске. Если был, а ответ неверный — в генерации.

Улучшение поиска:

• фрагментация — по структуре, с заголовками и перекрытием;
• гибридный поиск — векторный плюс BM25 для точных терминов и кодов;
• переформулировка запроса — переписать вопрос с учётом истории диалога, разбить сложный на подвопросы, сгенерировать гипотетический ответ и искать по нему (HyDE);
• реранкер — модель (обычно cross-encoder), которая оценивает пару «вопрос — фрагмент» точнее, чем сходство эмбеддингов: берём top-50 из поиска, переранжируем, оставляем top-5;
• метаданные и фильтры — раздел, версия продукта, дата;
• модель эмбеддингов — проверить на своём языке и домене.

Улучшение генерации:

• инструкция отвечать только по контексту и признавать нехватку данных;
• меньше, но точнее фрагменты — шум мешает;
• важное — в начало или конец контекста;
• требование ссылаться на источник у каждого утверждения.

Измерение — отдельно метрики поиска (recall@k, MRR) и ответа (соответствие контексту, полнота, правильность), регулярно, при каждом изменении.