Получить доступ

Почему хорошая офлайн-метрика модели не гарантирует успех в продакшене и как проверить модель онлайн?

MiddleMLOps и модели в продакшене
Ещё спрашивают так:
  • Как сравнить новую модель со старой на реальных пользователях?
Коротко

Офлайн-метрика (ROC-AUC, RMSE) считается на исторических данных и не равна бизнес-цели: модель меняет поведение пользователей, данные могли устареть, есть утечки и training-serving skew. Окончательное решение — онлайн-эксперимент: A/B-тест по бизнес-метрике (выручка, конверсия, удержание) с заранее заданными метриками-ограничителями.

  • Перед A/B — теневой режим: проверить, что модель работает технически и прогнозы разумны
  • Офлайн-метрики полезны для отбора кандидатов, а не для финального решения
  • Метрики-ограничители: задержка, жалобы, доля отказов, доход

А ещё Для рекомендаций и ранжирования применяют interleaving — чувствительнее A/B

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Подробно

Почему офлайн и онлайн расходятся:

  • офлайн-метрика измеряет качество прогноза, а бизнесу важно решение и его последствия;
  • модель влияет на данные: рекомендации меняют то, что пользователь видит и покупает;
  • различия в признаках между обучением и сервисом;
  • смещение исторических данных: старая модель уже отфильтровала часть случаев (например, не выданные кредиты не имеют меток).

Порядок проверки:

  1. Офлайн-отбор кандидатов на отложенной выборке и срезах.
  2. Теневой режим: прогнозы считаются и логируются, но не используются.
  3. Канарейка на малой доле трафика — техническая устойчивость.
  4. A/B-тест: случайное разбиение пользователей, основная метрика, ограничители, заранее рассчитанный размер выборки и длительность.

Статистика A/B-тестов (размер выборки, мощность, подглядывание, множественные сравнения) — общая с продуктовой аналитикой.

Что хотят услышать

  • Причины расхождения офлайн- и онлайн-результатов.
  • Последовательность проверки модели.
  • Роль A/B-теста и метрик-ограничителей.

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем