Как работать с несбалансированными классами?

Метрики. Accuracy доминирует большой класс. Смотрят на:

• recall — какую долю мошенников нашли;
• precision — какая доля тревог настоящая;
• PR-AUC — площадь под кривой precision-recall, информативнее ROC-AUC при сильном дисбалансе.

Порог. Модель выдаёт вероятность; решение принимается порогом. Порог выбирают по цене ошибок: пропуск мошенничества дороже ложной тревоги — порог ниже.

Методы:

• веса классов — ошибка на редком классе стоит дороже в функции потерь; работает почти во всех моделях;
• undersampling — выбросить часть большого класса: быстро, но теряем данные;
• oversampling / SMOTE — дублировать или синтезировать примеры редкого класса: риск переобучения на синтетике;
• ансамбли на сбалансированных подвыборках.

Типичная ошибка — пересэмплировать до разбиения на обучение и тест: копии одного объекта попадают в обе части, метрика завышена. Тест должен сохранять реальную долю классов.