Что важно знать
- Градиент указывает направление роста функции — двигаемся против него.
- Слишком большой шаг — расходимость, слишком маленький — медленно.
- Цепное правило — основа обратного распространения ошибки.
- Стохастический градиентный спуск, моменты, Adam.