Качество RAG

Основа с Middle

Почему RAG отвечает плохо и как это найти — поиск, контекст, генерация, оценка.

Ошибку RAG ищут по этапам, а не «подкручивая промпт».

симптом	где искать
нужный документ не нашёлся	разбиение, модель эмбеддингов, гибридный поиск, переформулирование
нашёлся, но не в топе	реранкер, число кандидатов
был в контексте, но ответ неверный	промпт, порядок фрагментов, слишком много шума
модель выдумала	инструкция отвечать только по документам, проверка ссылок

Сначала набор вопросов с правильными документами и ответами — иначе улучшения не измерить.
Метрики поиска (recall@k) и метрики ответа (верность контексту, полнота, корректность) считают отдельно.
Если ответа в данных нет, модель должна это признать — это тоже проверяют.
Продвинутые схемы: агентный RAG (модель сама решает, что искать), графовый RAG для связей между сущностями — после того как базовый пайплайн отлажен.

Критерии освоения

Собирает набор вопросов с правильными документами и ответами и измеряет поиск и ответ отдельно
Находит этап, на котором RAG ошибается, по трассам неудачных ответов
Добивается, чтобы ассистент признавал отсутствие ответа в данных

Практика. Взять базовый RAG, собрать набор из 100 вопросов, разложить ошибки по этапам и улучшить итоговое качество ответов не менее чем на 15%.

Практика. Спроектировать и защитить RAG по документам компании с правами доступа, синхронизацией прав и планом оценки качества.

Как улучшить качество RAG, если он отвечает плохо? Middle
Сначала понять, где ломается: не нашли нужное (поиск) или нашли, но ответили плохо (генерация) — и чинить соответствующий этап.
Что такое галлюцинации LLM и как с ними бороться? Junior
Галлюцинация — правдоподобный, но неверный ответ: модель генерирует вероятный текст, а не сверяется с фактами.
Как оценивать качество ответов LLM? Middle
Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.
Как сделать RAG по документам компании с учётом прав доступа? Senior
Права проверяются при поиске, а не моделью: каждый фрагмент хранит метаданные доступа (документ, группы, уровень конфиденциальности), поисковый запрос всегда содержит фильтр по…

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.