Какие метрики качества классификации вы знаете?

Основа — матрица ошибок: TP (верно нашли), FP (ложная тревога), FN (пропустили), TN (верно отвергли).

• Accuracy = (TP + TN) / всё. Понятна, но бесполезна при дисбалансе классов.
• Precision = TP / (TP + FP) — насколько можно доверять срабатыванию.
• Recall = TP / (TP + FN) — какую долю настоящих случаев нашли.
• F1 — гармоническое среднее precision и recall; полезна, когда важны обе.
• ROC-AUC — вероятность, что случайный положительный пример получит оценку выше случайного отрицательного; не зависит от порога.
• PR-AUC — площадь под кривой precision–recall, информативнее при редком положительном классе.

Порог. Модель часто выдаёт вероятность, а класс определяется порогом. Повышаем порог — растёт precision, падает recall, и наоборот. Порог выбирают под задачу.

Выбор по цене ошибок:

• диагностика болезни, поиск мошенничества — важнее recall, пропуск дорог;
• спам-фильтр, автоблокировка — важнее precision, ложное срабатывание раздражает пользователя.

Из 1000 транзакций 10 мошеннических. Модель пометила 20, из них 8 настоящих. Precision = 8/20 = 0.4, recall = 8/10 = 0.8, F1 ≈ 0.53. Accuracy = (8 + 978) / 1000 ≈ 0.99 — выглядит отлично, но ничего не говорит о качестве.