Дистилляция — обучение маленькой модели-ученика повторять поведение большой модели-учителя. Ученик учится на ответах или распределениях вероятностей учителя, а не только на исходной разметке, и достигает качества, недостижимого при обучении «с нуля» того же размера.
А ещё Условия использования коммерческих моделей могут запрещать обучение конкурирующих моделей на их ответах
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Классическая схема. Учитель выдаёт распределение вероятностей по классам; ученик минимизирует расхождение с ним (KL) плюс обычную функцию потерь на правильных метках. «Температура» в softmax делает распределение мягче и раскрывает, какие неправильные классы учитель считает похожими.
Для LLM чаще всего:
Результат — модель в десятки раз дешевле, хорошо решающая узкую задачу (классификация обращений, извлечение полей, ответы по шаблону).
Ограничения: ученик наследует ошибки учителя и хуже обобщает за пределы обучающих запросов. Нужен честный тестовый набор, чтобы сравнить дистиллированную модель с исходной на своей задаче.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto