RAG и векторный поиск

Эмбеддинги, векторные индексы, фрагментация документов, гибридный поиск и улучшение качества RAG.

1. Что такое RAG и как он устроен? Junior

   RAG — модель отвечает по найденным документам: сначала поиск релевантных фрагментов, затем генерация ответа с ними в контексте.

2. Что такое эмбеддинги? Junior

   Эмбеддинг — вектор чисел, в котором тексты близкие по смыслу оказываются близко в пространстве.

3. Как устроен векторный поиск? Middle

   Векторный поиск находит ближайшие векторы к вектору запроса; на больших объёмах используют приближённый поиск (ANN) с индексами вроде HNSW.

4. Что такое гибридный поиск и зачем совмещать BM25 с векторным поиском? Middle

   Векторный поиск хорошо ловит смысл и перефразирования, но промахивается на точных совпадениях: артикулы, коды ошибок, имена, редкие термины. BM25 (лексический поиск) — наоборот…

5. Как разбивать документы на фрагменты для RAG? Middle

   Фрагмент должен быть самодостаточным по смыслу и достаточно коротким, чтобы точно находиться поиском; режут по структуре документа, а не по символам.

6. Что такое реранкер и чем cross-encoder отличается от bi-encoder? Middle

   Bi-encoder кодирует запрос и документ отдельно в векторы и сравнивает их — документы индексируются заранее, поиск быстрый, но точность ограничена. Cross-encoder подаёт запрос и…

7. Как улучшить качество RAG, если он отвечает плохо? Middle

   Сначала понять, где ломается: не нашли нужное (поиск) или нашли, но ответили плохо (генерация) — и чинить соответствующий этап.

8. Зачем RAG, если у моделей контекст на сотни тысяч токенов? Middle

   Длинный контекст не заменяет поиск: стоимость и задержка растут с каждым токеном, качество падает на длинных входах (модель хуже использует информацию из середины — lost in the…

9. Когда использовать RAG, а когда дообучение модели? Middle

   RAG — когда нужны знания (факты, документы, свежие данные); дообучение — когда нужно поведение (формат, стиль, навык, предметный язык).

10. Что такое галлюцинации LLM и как с ними бороться? Junior

    Галлюцинация — правдоподобный, но неверный ответ: модель генерирует вероятный текст, а не сверяется с фактами.

11. Как оценивать качество ответов LLM? Middle

    Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.

12. Что такое LLM как судья (LLM-as-a-judge) и какие у этого подхода ловушки? Middle

    Сильная модель оценивает ответы другой (или той же) модели по чёткой рубрике: верность фактам из контекста, полнота, следование формату. Это масштабирует оценку там, где точного…