Нейросеть — композиция слоёв: каждый делает линейное преобразование (веса и смещение) и нелинейную функцию активации (ReLU, GELU). Без нелинейности любая глубина схлопнулась бы в одну линейную функцию. Обучение: прямой проход → функция потерь → обратное распространение (градиенты по правилу цепочки) → шаг оптимизатора.
А ещё PyTorch считает градиенты автоматически (autograd) — вручную производные не пишут
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Прямой проход. Вход умножается на матрицу весов, добавляется смещение, применяется активация; результат идёт в следующий слой. Последний слой и функция потерь зависят от задачи: softmax и кросс-энтропия для классификации, линейный выход и MSE для регрессии.
Обратное распространение. Функция потерь — сложная функция от всех весов. По правилу дифференцирования сложной функции градиенты вычисляются от выхода к входу, слой за слоем, переиспользуя промежуточные результаты. Затем оптимизатор (SGD, Adam) обновляет веса.
sottoloss = criterion(model(x), y)
optimizer.zero_grad()
loss.backward() # backprop: градиенты для всех параметров
optimizer.step() # шаг оптимизатораАктивации: сигмоида и tanh насыщаются — градиент почти ноль на краях, глубокие сети учатся плохо. ReLU и её варианты (GELU, SiLU в трансформерах) решили эту проблему для скрытых слоёв.
Стабилизация обучения:
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.