Дообучение моделей

Основа

Когда дообучать, а когда хватит промпта и RAG — LoRA, дистилляция, квантизация.

Дообучение меняет поведение модели — стиль, формат, узкий навык. Знания ему даются плохо: новые факты надёжнее дать через RAG.

Порядок, в котором стоит пробовать:

промпт и примеры;
RAG или инструменты, если не хватает данных;
дообучение — когда нужен стабильный формат или стиль, дешёвая маленькая модель вместо большой, или специфичная задача, которую промптом не решить.

Дообучение требует качественного набора данных (сотни — тысячи примеров), инфраструктуры и оценки до и после.

Темы этапа

LoRA и PEFT Основа
Дообучение маленькой добавкой к весам вместо всей модели.
Дистилляция и квантизация Полезно знать
Как сделать модель меньше и дешевле — учить маленькую на ответах большой и сжимать веса.

Когда использовать RAG, а когда дообучение модели? Middle
RAG — когда нужны знания (факты, документы, свежие данные); дообучение — когда нужно поведение (формат, стиль, навык, предметный язык).
Что такое дообучение модели и LoRA? Middle
Дообучение — продолжение обучения готовой модели на своих примерах, чтобы закрепить формат, стиль или навык; LoRA обучает небольшие добавочные матрицы вместо всех весов.

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.