Метрики классификации и регрессии, ROC и PR, порог и связь с бизнесом.
Практика. Посчитать метрики классификатора вручную по матрице ошибок и сверить с scikit-learn.
Практика. Выбрать порог модели оттока, максимизирующий прибыль при заданной стоимости удержания и потерь.
Практика. Для модели скоринга подготовить с заказчиком документ метрик — офлайн-метрика, порог, бизнес-эффект, критерий остановки.
Precision — доля верных среди предсказанных положительных, recall — доля найденных среди всех настоящих положительных; F1 — их гармоническое среднее.
ROC-кривая — зависимость доли найденных положительных (TPR) от доли ложных тревог (FPR) при всех порогах; ROC-AUC — площадь под ней, вероятность того, что случайный положительный…
MAE — средняя абсолютная ошибка, понятна в единицах цели, устойчива к выбросам. RMSE — корень из средней квадратичной ошибки, сильнее штрафует большие промахи. MAPE — средняя…
При 1% мошенничества модель «всё честно» даёт 99% accuracy и бесполезна. Нужны правильные метрики (precision, recall, F1, PR-AUC), подбор порога под цену ошибок, веса классов в…
Ошибку модели раскладывают на смещение (bias — модель слишком проста и систематически ошибается), разброс (variance — модель слишком чувствительна к конкретной выборке) и…
Цель EDA — понять данные до модели: структура (строки, столбцы, типы, единицы, что такое одна строка), качество (пропуски, дубли, выбросы, ошибки ввода), распределения признаков и…
На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.
sotto