Что такое переобучение модели и как с ним бороться?

Модель учится на обучающей выборке, а работать должна на данных, которых не видела. Два крайних случая:

• недообучение (underfitting) — модель слишком простая или мало обучалась: ошибка высокая и на обучении, и на проверке;
• переобучение (overfitting) — модель слишком сложная для объёма данных и подстраивается под случайные особенности: ошибка на обучении маленькая, на валидации заметно больше.

Как распознать: сравнивать метрики на обучающей и валидационной выборках, строить кривые обучения по эпохам — валидационная ошибка начинает расти, когда обучающая продолжает падать.

Что помогает:

• больше данных или аугментация;
• регуляризация — штраф за большие веса (L1, L2), dropout в нейросетях;
• упрощение модели: меньше признаков, меньше глубина дерева;
• ранняя остановка — прекратить обучение, когда валидация перестала улучшаться;
• кросс-валидация для честной оценки;
• ансамбли (например, случайный лес усредняет переобученные деревья).

Это проявление компромисса смещения и разброса (bias–variance).