Получить доступ

Как вы ведёте DS-проект от постановки задачи до внедрения?

SeniorMLOps и модели в продакшене
Ещё спрашивают так:
  • Что такое CRISP-DM?
  • Почему большинство ML-моделей не доходят до продакшена?
Коротко

Большинство DS-проектов проваливаются не из-за модели, а из-за постановки и внедрения. Этапы: понимание бизнеса (решение, которое изменится, и метрика успеха) → понимание данных → подготовка → моделирование с базовой линией → оценка с заказчиком → внедрение и мониторинг. Цикл итеративный; первая версия должна дойти до пользователей быстро, даже если она простая.

  • Ранняя проверка: есть ли данные нужного качества и действие на основе модели
  • Базовая линия — правило или простая модель — часто уже даёт большую часть эффекта
  • Заказчик видит промежуточные результаты, а не только финальный отчёт

А ещё Критерий успеха — изменение бизнес-метрики, а не ROC-AUC

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Подробно

Причины провалов:

  • нет действия на основе предсказания;
  • данные в продакшене не совпадают с обучающими;
  • модель некому внедрить и поддерживать;
  • метрика модели не связана с бизнесом;
  • проект слишком долго без видимого результата.

Практики:

  • короткий документ постановки: решение, метрика, данные, риски, критерии остановки;
  • быстрый прототип и проверка на исторических данных;
  • договорённость с инженерами о внедрении с первого дня;
  • пилот с контрольной группой;
  • план поддержки: мониторинг, переобучение, владелец.

Что хотят услышать

  • Этапы проекта и их итеративность.
  • Причины провалов и как их избежать.
  • Бизнес-метрика как критерий успеха.

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем