Получить доступ

Что такое MLOps и как модель попадает в продакшен?

MiddleMLOps и модели в продакшене
Ещё спрашивают так:
  • Что такое model registry?
  • Чем training-serving skew опасен?
Коротко

MLOps — практики, чтобы модели воспроизводимо обучались, проверялись, выкатывались и наблюдались. Цикл: данные → эксперименты (с трекингом параметров и метрик) → регистрация модели с версией → проверка → деплой (батч или онлайн-сервис) → мониторинг → переобучение.

  • Воспроизводимость: версии кода, данных, параметров, зависимостей и seed
  • Training-serving skew — признаки в продакшене считаются иначе, чем при обучении; лечат общим кодом и feature store
  • Выкатка: теневой режим, канарейка, A/B-тест против текущей модели

А ещё Инструменты: MLflow, DVC, Kubeflow, Airflow; обслуживание — Triton, BentoML, KServe

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Подробно

Этапы:

  1. Данные — версии наборов, проверки схемы и качества.
  2. Эксперименты — трекинг (MLflow): параметры, метрики, артефакты каждой попытки.
  3. Регистрация — модель с версией, метриками, ссылкой на данные и код; статусы staging и production.
  4. Проверка перед выкаткой — метрики на отложенном наборе, сравнение с текущей моделью, тесты на срезах (регионы, новые пользователи), задержка и размер.
  5. Деплой — батчевый скоринг по расписанию или онлайн-сервис; постепенная выкатка.
  6. Мониторинг — качество, дрейф данных, задержки.
  7. Переобучение — по расписанию или по сигналу дрейфа.

Training-serving skew — самая частая причина «модель хорошая, а в продакшене плохая»: признак при обучении считался SQL-запросом за месяц, а в сервисе — по-другому или с задержкой. Решения — общий код преобразований, feature store с одинаковым расчётом офлайн и онлайн, логирование признаков на инференсе.

Выкатка: теневой режим (новая модель считает прогнозы, но решения принимает старая), затем канарейка и A/B-тест по бизнес-метрике.

Что хотят услышать

  • Этапы жизненного цикла модели.
  • Воспроизводимость и реестр моделей.
  • Training-serving skew.
  • Безопасная выкатка.

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем