Что такое ROC-AUC и PR-AUC и когда какую метрику использовать?

Question

Accepted Answer

ROC-кривая — зависимость доли найденных положительных (TPR) от доли ложных тревог (FPR) при всех порогах; ROC-AUC — площадь под ней, вероятность того, что случайный положительный объект получит оценку выше случайного отрицательного. PR-кривая — precision против recall; при сильном дисбалансе PR-AUC честнее. ROC-AUC 0,5 — случайное угадывание, 1 — идеальное ранжирование AUC не зависит от порога — оценивает качество ранжирования, а не решения ROC-AUC может выглядеть высоким при редком классе, когда precision при этом низкий Для бизнеса важна метрика при выбранном пороге: precision@k, recall при фиксированной доле тревог Построение ROC. Сортируем объекты по оценке модели и сдвигаем порог от максимума к минимуму. На каждом пороге считаем: - TPR = TP / (TP + FN) — recall, доля найденных положительных; - FPR = FP / (FP + TN) — доля отрицательных, ошибочно отмеченных. Почему ROC обманчив при дисбалансе. При миллионе нормальных транзакций и тысяче мошеннических FPR 1% — это 10 000 ложных тревог на 1 000 настоящих: precision около 9%, хотя на ROC-кривой точка выглядит отлично. PR-кривая показывает эту проблему сразу. PR-AUC (average precision) — площадь под кривой precision-recall. Базовый уровень случайной модели равен доле положительного класса, а не 0,5. Когда что: - классы сбалансированы, важно ранжирование в целом — ROC-AUC; - редкий класс, важны найденные срабатывания — PR-AUC; - конкретное решение — метрики при выбранном пороге и их стоимость.

Что такое ROC-AUC и PR-AUC и когда какую метрику использовать?

Попробуйте сами

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени