Что такое дрейф данных и концепта и как его отслеживать?

Question

Accepted Answer

Data drift — меняется распределение входных признаков (пришли новые пользователи, изменился продукт). Concept drift — меняется сама зависимость «признаки → ответ» (мошенники сменили схему, после изменения цен поменялось поведение). Оба снижают качество; concept drift опаснее, потому что входные данные могут выглядеть как раньше. Если метки приходят быстро — следят за метрикой качества напрямую Если метки запаздывают — за распределениями признаков и прогнозов (PSI, тест Колмогорова-Смирнова) Реакция: расследование, переобучение на свежих данных, иногда пересмотр признаков Сломанный конвейер данных (null вместо значений) выглядит как дрейф — сначала проверяют данные Что отслеживать: - качество — когда известны правильные ответы (доставлен ли заказ вовремя, вернул ли клиент кредит), иногда с задержкой в недели; - распределения признаков — сравнение текущего окна с обучающими данными: PSI (population stability index), KS-тест, доля пропусков и новых категорий; - распределение прогнозов — резкое смещение доли положительных прогнозов — ранний сигнал; - бизнес-метрики — конверсия, доля одобрений, потери. Причины падения качества: - реальный дрейф: сезонность, новые сегменты, изменение продукта и рынка; - поломка данных: изменился формат в источнике, упал конвейер, поменялись единицы измерения; - обратная связь: модель сама влияет на данные, на которых потом обучается (рекомендации, антифрод). Реакция: алерты по порогам, расследование причин, переобучение по расписанию или по сигналу, оценка новой модели против текущей перед заменой.

Что такое дрейф данных и концепта и как его отслеживать?

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени