Получить доступ

Спроектируйте ML-систему для предсказания оттока клиентов.

SeniorMLOps и модели в продакшене
Ещё спрашивают так:
  • ML system design — с чего начать?
  • Как спроектировать систему рекомендаций или антифрода?
Коротко

Порядок: бизнес-задача и действие (что сделаем с предсказанием — скидка, звонок; сколько это стоит) → постановка (что такое отток, горизонт, когда предсказываем) → данные и разметка → признаки без утечки → базовая линия и модель → офлайн-метрики, связанные с бизнесом (полнота в топ-N при бюджете на удержание) → инфраструктура (пакетное или онлайн-предсказание, хранилище признаков) → A/B-тест эффекта удержания → мониторинг и переобучение.

  • Модель полезна, только если на её предсказание есть действие с понятной экономикой
  • Предсказать отток мало — важно, кого удастся удержать (uplift-моделирование)
  • Пакетный расчёт раз в день часто достаточен и проще онлайна

А ещё Интервьюер ценит вопросы о бизнесе и данных выше, чем выбор алгоритма

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Подробно

Постановка: «клиент не совершит покупку 60 дней» — определение оттока и горизонта влияет на всё. Предсказание делается на дату, по данным строго до неё.

Метрика: если бюджет позволяет связаться с 5% клиентов — важна точность в топ-5%, а не ROC-AUC на всех.

Эффект: контрольная группа без воздействия; метрика — сохранённая выручка минус стоимость удержания. Uplift-модели предсказывают, кто изменит поведение от воздействия.

Инфраструктура: пайплайн признаков, обучение по расписанию, реестр моделей, пакетное предсказание в CRM, мониторинг дрейфа и качества с задержкой разметки.

Что хотят услышать

  • Бизнес-задача, действие и экономика до модели.
  • Постановка без утечки и метрика под бюджет.
  • Эксперимент для эффекта, инфраструктура и мониторинг.

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем