Подготовка данных и разбиение на фрагменты

Основа с Junior

Извлечение текста из документов, очистка, чанкинг и метаданные.

Качество RAG определяется на этапе индексации: модель не ответит по фрагменту, который потерял смысл при разбиении или вообще не извлёкся из PDF.

Извлечение: PDF, сканы, таблицы, презентации — отдельная задача; таблицы и структура часто теряются.
Разбиение: по структуре документа (заголовки, абзацы) лучше, чем по фиксированному числу символов; перекрытие соседних фрагментов.
Размер фрагмента — компромисс: маленький точнее находится, но теряет контекст; большой наоборот. Подбирают на своих данных.
Метаданные: источник, раздел, дата, права доступа — для фильтров и ссылок в ответе.
Контекст фрагмента: заголовок документа и раздела в тексте фрагмента заметно улучшает поиск.
Обновления: инкрементальная переиндексация изменённых документов.

Критерии освоения

Извлекает текст из PDF и HTML, разбивает на фрагменты с перекрытием и сохраняет метаданные

Практика. Проиндексировать 50 документов разного формата и вручную проверить 20 случайных фрагментов на потерю смысла.

Практика. Сравнить 3 стратегии разбиения по recall@5 на наборе из 100 вопросов и выбрать лучшую.

Как разбивать документы на фрагменты для RAG? Middle
Фрагмент должен быть самодостаточным по смыслу и достаточно коротким, чтобы точно находиться поиском; режут по структуре документа, а не по символам.

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.