Как обучают чат-модели

Основа с Junior

Предобучение, дообучение на инструкциях, RLHF и DPO — откуда у модели «характер».

Предобучение — предсказание следующего токена на триллионах токенов текста и кода. Модель получает знания и навыки языка.
SFT — дообучение на примерах «инструкция — хороший ответ». Модель учится следовать просьбам и формату диалога.
Выравнивание по предпочтениям (RLHF, DPO) — модель учат выбирать ответы, которые люди или модель-оценщик считают лучше: полезнее, безопаснее, честнее.
Обучение рассуждениям — подкрепление на задачах с проверяемым ответом (математика, код).

Знания модели ограничены датой среза данных — свежие факты дают через RAG или поиск.
Отказы, многословность, угодливость — следствия выравнивания, а не «понимания».
Дообучение на своих данных — это тот же SFT в малом масштабе, обычно с LoRA.

Критерии освоения

Описывает этапы обучения чат-модели — предобучение, SFT, выравнивание по предпочтениям
Объясняет, почему модель не знает свежих событий и как это компенсируют

Практика. Объяснить коллеге-неспециалисту за 5 минут, откуда у чат-модели знания и почему она иногда выдумывает.

Практика. Для трёх реальных задач обосновать письменно — промпт, RAG или дообучение.

Как обучают чат-модели — предобучение, SFT, RLHF и DPO? Middle
Три этапа. Предобучение — предсказание следующего токена на огромном корпусе: модель получает знания о языке и мире, но просто продолжает текст. SFT (supervised fine-tuning) …

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.