Три этапа. Предобучение — предсказание следующего токена на огромном корпусе: модель получает знания о языке и мире, но просто продолжает текст. SFT (supervised fine-tuning) — дообучение на примерах «инструкция → хороший ответ»: модель учится выполнять просьбы. Выравнивание по предпочтениям (RLHF, DPO) — учится выбирать ответы, которые люди считают лучше.
А ещё Модели рассуждений дополнительно обучают RL на задачах с проверяемым ответом (математика, код)
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Предобучение. Self-supervised: на триллионах токенов модель учится предсказывать следующий токен. Это самая дорогая стадия — тысячи GPU неделями. Результат — base-модель с широкими знаниями, которая на вопрос может ответить следующим вопросом из того же «форума».
SFT. Десятки — сотни тысяч качественных диалогов «запрос → ответ» в нужном формате. Модель учится роли ассистента, формату ответов, следованию инструкциям.
Выравнивание:
Рассуждающие модели — дополнительное RL на задачах, где ответ проверяется автоматически (тесты для кода, ответ в математике): модель учится длинным цепочкам рассуждений.
Что это значит для инженера: для своей задачи почти всегда достаточно промптов, RAG или SFT/LoRA поверх готовой instruct-модели; собственное предобучение — удел крупных лабораторий.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto