Как работает градиентный спуск и что такое learning rate?

Question

Accepted Answer

Градиентный спуск минимизирует функцию потерь, шаг за шагом сдвигая параметры против градиента — в сторону наибольшего уменьшения ошибки. Learning rate — размер шага: слишком большой — расходится или скачет, слишком маленький — учится очень долго. Full batch — градиент по всем данным; SGD — по одному примеру; mini-batch — по пачке (стандарт) Adam адаптирует шаг для каждого параметра по истории градиентов — стандарт для нейросетей Learning rate часто меняют по расписанию: разогрев, затем уменьшение Шум мини-батчей помогает выбираться из плохих локальных минимумов Формула шага: w ← w − η∇L(w), где η — learning rate, ∇L — градиент потерь по параметрам. Варианты по объёму данных на шаг: - batch — точный градиент, но дорогой шаг на больших данных; - стохастический (SGD) — по одному примеру: дёшево, но шумно; - mini-batch — компромисс: пачки по 32–1024 примеров, эффективно на GPU. Оптимизаторы: - momentum — накапливает «инерцию» направления, сглаживает колебания; - RMSProp, Adam — нормируют шаг по каждому параметру на величину его прошлых градиентов; AdamW — Adam с корректным weight decay, стандарт для трансформеров. Подбор learning rate: диагностика по кривой потерь — растёт или «взрывается» → слишком большой; падает очень медленно → слишком маленький. Расписания: warmup в начале (особенно для трансформеров), затем косинусное или ступенчатое уменьшение.

Как работает градиентный спуск и что такое learning rate?

Попробуйте сами

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени