Регуляризация добавляет к функции потерь штраф за большие веса, чтобы модель не подгонялась под шум. L2 (Ridge) — штраф за сумму квадратов: веса уменьшаются плавно, но не до нуля. L1 (Lasso) — штраф за сумму модулей: многие веса становятся ровно нулём, это встроенный отбор признаков.
А ещё В нейросетях — weight decay, dropout, ранняя остановка, аугментация
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Формулы:
Почему L1 даёт нули. Геометрически ограничение L1 — ромб с углами на осях, и решение часто попадает в угол, где часть координат нулевая. У L2 ограничение — круг, и касание с линиями уровня потерь редко приходится ровно на ось.
Практика:
В нейросетях: weight decay (аналог L2), dropout (случайное отключение нейронов), ранняя остановка, аугментация данных.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto