Какие метрики используют для задач регрессии — MAE, RMSE, MAPE, R²?

Question

Accepted Answer

MAE — средняя абсолютная ошибка, понятна в единицах цели, устойчива к выбросам. RMSE — корень из средней квадратичной ошибки, сильнее штрафует большие промахи. MAPE — средняя относительная ошибка в процентах, удобна бизнесу, но ломается на значениях около нуля. R² — доля объяснённой дисперсии относительно прогноза средним. RMSE ≥ MAE; сильный разрыв — признак крупных выбросов в ошибках Оптимум MAE — медиана, RMSE — среднее MAPE несимметрична: недопрогноз и перепрогноз штрафуются по-разному Метрику выбирают по цене ошибки в бизнесе: важны ли редкие большие промахи | метрика | формула | особенности | | --- | --- | --- | | MAE | среднее модуля (y − ŷ) | в единицах цели, устойчива к выбросам | | RMSE | √среднее (y − ŷ)² | штрафует крупные ошибки | | MAPE | среднее модуля (y − ŷ) / y | проценты, ломается около нуля | | R² | 1 − SSE / SST | 1 — идеально, 0 — как среднее, может быть < 0 | Выбор: - стоимость ошибки пропорциональна её размеру — MAE; - большие промахи особенно опасны (прогноз нагрузки, запасы) — RMSE; - нужно объяснить бизнесу «ошибаемся в среднем на 8%» — MAPE или sMAPE, WAPE (взвешенная, устойчивее); - сравнить модели на одной задаче — R², но он не говорит, достаточно ли точна модель для решения. Связь с обучением: минимизация MSE даёт прогноз среднего, минимизация MAE — медианы. Для прогноза интервалов — квантильная функция потерь.

Какие метрики используют для задач регрессии — MAE, RMSE, MAPE, R²?

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени

метрика	формула	особенности
MAE	среднее модуля (y − ŷ)	в единицах цели, устойчива к выбросам
RMSE	√среднее (y − ŷ)²	штрафует крупные ошибки
MAPE	среднее модуля (y − ŷ) / y	проценты, ломается около нуля
R²	1 − SSE / SST	1 — идеально, 0 — как среднее, может быть < 0