Что такое дообучение модели и LoRA?

Когда нужно — формат или стиль не удаётся стабильно получить промптом; нужна специфичная задача; хочется заменить большую модель маленькой дообученной ради скорости и цены. Для «знания фактов» лучше RAG.

Виды:

• полное дообучение — обновляются все веса; требует много памяти GPU и рискует «забыванием» прежних умений;
• PEFT (parameter-efficient fine-tuning) — обучается малая часть параметров. Самый популярный способ — LoRA: к слоям модели добавляются две маленькие матрицы низкого ранга, их произведение — поправка к весам. Основные веса заморожены, обучаемых параметров — доли процента, адаптер весит мегабайты, а адаптеров под разные задачи можно держать несколько. QLoRA — то же поверх сжатой (квантизованной) модели, ещё меньше памяти.

Данные: реальные запросы и эталонные ответы в нужном формате, разнообразные, без противоречий. Плохие примеры модель тоже выучит.

Процесс: собрать данные → отложить тестовую часть → обучить → сравнить с исходной моделью и с промптом по метрикам на тестовой части → проверить, что не просели общие умения.