Гиперпараметры задают до обучения (глубина, learning rate, регуляризация), подбирают по качеству на валидации. Grid search перебирает сетку — дорого и неэффективно; random search случайные комбинации — лучше при многих параметрах; байесовская оптимизация (Optuna) выбирает следующие точки по результатам прошлых — экономнее всего.
А ещё Подгонка под валидацию тоже переобучение — финальная оценка на отложенном тесте
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Почему random лучше grid. Если важен один параметр из пяти, сетка 5×5×5×5×5 проверит всего пять его значений, а 3125 случайных точек — 3125 разных значений. Так что при том же бюджете random search исследует важные оси лучше.
Байесовская оптимизация. Строится модель зависимости качества от параметров (TPE в Optuna, гауссовы процессы), следующая попытка выбирается там, где ожидается улучшение. Прунинг останавливает неперспективные попытки на ранних эпохах.
Практика:
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto