Когда использовать RAG, а когда дообучение модели?

RAG подходит, когда:

• нужны факты из закрытых или часто меняющихся источников;
• важно показать источник ответа;
• у разных пользователей разные права доступа к документам;
• данных много, а правок — постоянно.

Дообучение подходит, когда:

• нужен устойчивый формат или стиль, который не удаётся получить промптом;
• нужно освоить специфичную задачу: классификация с нестандартными классами, особый язык домена;
• хочется заменить большую модель маленькой дообученной — дешевле и быстрее;
• длинные промпты с примерами слишком дороги на каждом запросе.

Почему дообучение — плохой способ «залить факты»: модель запоминает их ненадёжно, может смешивать и выдумывать, каждое обновление требует нового обучения, нельзя сослаться на источник и разграничить доступ.

Порядок на практике: сначала промпт и примеры; если не хватает знаний — RAG; если не хватает качества поведения при хорошем контексте — дообучение (часто лёгкое, LoRA). Решение принимают по метрикам на наборе задач.