Ошибку модели раскладывают на смещение (bias — модель слишком проста и систематически ошибается), разброс (variance — модель слишком чувствительна к конкретной выборке) и неустранимый шум. Рост сложности уменьшает смещение и увеличивает разброс; оптимум — посередине.
А ещё Большие нейросети показывают «двойной спуск» — после порога сложности ошибка снова падает
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Интуиция. Представьте, что модель обучили много раз на разных выборках из одного источника.
Ожидаемая квадратичная ошибка = смещение² + разброс + шум.
Как диагностировать: кривые обучения — ошибка на обучении и валидации в зависимости от объёма данных или сложности модели. Большой разрыв между ними — разброс; обе высокие и близкие — смещение.
Что делать:
| проблема | меры |
|---|---|
| высокое смещение | сложнее модель, больше признаков, меньше регуляризации |
| высокий разброс | больше данных, регуляризация, проще модель, бэггинг, ранняя остановка |
Ансамбли: бэггинг (случайный лес) усредняет модели и снижает разброс; бустинг последовательно исправляет ошибки и снижает смещение.
Современная оговорка: у сильно перепараметризованных нейросетей наблюдают «двойной спуск» — классическая U-образная кривая работает не везде, но для табличных моделей это рабочая рамка.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto