Как обнаруживать и обрабатывать выбросы в данных?

Question

Accepted Answer

Сначала понять природу выброса: ошибка данных (тестовый заказ, бот, сбой трекинга, неверные единицы) — исправить или исключить; реальное редкое значение (оптовый клиент) — часть распределения, удалять нельзя, но можно ограничить влияние: медиана, логарифм, винзоризация, отдельный сегмент. Обнаружение: правило 1,5IQR, z-оценка, графики, бизнес-ограничения (возраст 250 лет) Правило обработки выбросов в A/B-тесте фиксируют до эксперимента Удалять «неудобные» точки после просмотра результатов — подгонка Иногда выбросы и есть цель: антифрод, поиск аномалий Методы обнаружения: - IQR: значения за пределами Q1 − 1,5IQR и Q3 + 1,5IQR; - z-оценка: дальше 3 стандартных отклонений — для примерно нормальных данных; - бизнес-правила: отрицательная цена, заказ в 1 000 000 рублей от нового пользователя, сессия длиной 30 часов; - визуально: гистограмма, ящик с усами, временной ряд. Обработка: - ошибки — исправить в источнике или исключить с документированным правилом; - реальные хвосты — устойчивые статистики (медиана), логарифм, винзоризация (заменить значения выше 99-го перцентиля самим перцентилем), анализ сегмента отдельно. В экспериментах один оптовый заказ может сделать выручку в группе «значимо» выше. Поэтому заранее фиксируют порог винзоризации или используют устойчивые метрики.

Как обнаруживать и обрабатывать выбросы в данных?

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени