Собеседование по машинному обучению

Задачи и метрики, переобучение и регуляризация, кросс-валидация и утечки данных, бустинг, нейросети и внимание, жизненный цикл модели и дрейф — то, о чём спрашивают Data Scientist и ML-инженеров.

1. Почему хорошая офлайн-метрика модели не гарантирует успех в продакшене и как проверить модель онлайн? Middle

   Офлайн-метрика (ROC-AUC, RMSE) считается на исторических данных и не равна бизнес-цели: модель меняет поведение пользователей, данные могли устареть, есть утечки и…

2. Как работает механизм внимания (self-attention) и архитектура трансформера? Middle

   Self-attention: для каждого токена считаются три вектора — Query (что ищу), Key (что содержу), Value (что передам). Вес внимания токена i к токену j — softmax от скалярного…

3. Что такое компромисс смещения и разброса (bias-variance tradeoff)? Middle

   Ошибку модели раскладывают на смещение (bias — модель слишком проста и систематически ошибается), разброс (variance — модель слишком чувствительна к конкретной выборке) и…

4. Какие метрики качества классификации вы знаете? Junior

   Precision — доля верных среди предсказанных положительных, recall — доля найденных среди всех настоящих положительных; F1 — их гармоническое среднее.

5. Что такое кросс-валидация и как правильно валидировать модель на временных данных? Middle

   K-fold: данные делят на k частей, модель обучают k раз, каждый раз оставляя одну часть для проверки, и усредняют метрику — оценка надёжнее одного разбиения. Для временных данных…

6. Что такое утечка данных (data leakage) в машинном обучении? Middle

   Утечка — в обучении используется информация, недоступная в момент реального прогноза. Метрики на валидации получаются завышенными, а в продакшене модель проваливается. Виды…

7. Как работает дерево решений и чем случайный лес отличается от градиентного бустинга? Middle

   Дерево рекурсивно делит данные по признакам так, чтобы листья были максимально однородными; глубокое дерево легко переобучается. Случайный лес (бэггинг) обучает много глубоких…

8. Что такое дистилляция модели? Middle

   Дистилляция — обучение маленькой модели-ученика повторять поведение большой модели-учителя. Ученик учится на ответах или распределениях вероятностей учителя, а не только на…

9. Как объяснить предсказание модели — важность признаков и SHAP? Middle

   Глобальная важность показывает, какие признаки в целом влияют на модель; локальная — почему модель приняла конкретное решение. SHAP раскладывает прогноз на вклады признаков на…

10. Зачем масштабировать признаки и как кодировать категориальные признаки? Junior

    Масштабирование (StandardScaler, MinMaxScaler) нужно моделям, чувствительным к расстояниям и величине весов: линейным с регуляризацией, k-means, kNN, нейросетям. Деревьям оно не…

11. Чем различаются XGBoost, LightGBM и CatBoost и как настраивать градиентный бустинг? Middle

    Все три — реализации градиентного бустинга на деревьях. XGBoost — регуляризация в функции потерь и быстрая точная реализация; LightGBM — рост деревьев по листьям и гистограммы…

12. Как работает градиентный спуск и что такое learning rate? Junior

    Градиентный спуск минимизирует функцию потерь, шаг за шагом сдвигая параметры против градиента — в сторону наибольшего уменьшения ошибки. Learning rate — размер шага: слишком…

13. Как подбирать гиперпараметры модели? Middle

    Гиперпараметры задают до обучения (глубина, learning rate, регуляризация), подбирают по качеству на валидации. Grid search перебирает сетку — дорого и неэффективно; random search…

14. Как работать с несбалансированными классами? Middle

    При 1% мошенничества модель «всё честно» даёт 99% accuracy и бесполезна. Нужны правильные метрики (precision, recall, F1, PR-AUC), подбор порога под цену ошибок, веса классов в…

15. Как работает k-means и как выбрать число кластеров? Junior

    K-means итеративно: расставить k центров, отнести каждую точку к ближайшему центру, пересчитать центры как средние своих точек — повторять до стабилизации. Число k выбирают…

16. Как LLM генерирует текст и что такое KV-кэш? Middle

    Генерация авторегрессивна: токен за токеном, каждый новый зависит от всех предыдущих. Prefill — параллельная обработка всего промпта (определяет время до первого токена, TTFT)…

17. Как работают линейная и логистическая регрессия? Junior

    Линейная регрессия предсказывает число как взвешенную сумму признаков, веса подбираются минимизацией среднеквадратичной ошибки. Логистическая регрессия — это классификация: ту же…

18. Какие бывают задачи машинного обучения — обучение с учителем, без учителя, с подкреплением? Junior

    С учителем — есть правильные ответы (метки): классификация (предсказать класс — спам/не спам) и регрессия (предсказать число — цену). Без учителя — меток нет, ищем структуру…

19. Что такое MLOps и как модель попадает в продакшен? Middle

    MLOps — практики, чтобы модели воспроизводимо обучались, проверялись, выкатывались и наблюдались. Цикл: данные → эксперименты (с трекингом параметров и метрик) → регистрация…

20. Что такое дрейф данных и концепта и как его отслеживать? Middle

    Data drift — меняется распределение входных признаков (пришли новые пользователи, изменился продукт). Concept drift — меняется сама зависимость «признаки → ответ» (мошенники…

21. Как устроена и обучается нейросеть — слои, функции активации, обратное распространение ошибки? Junior

    Нейросеть — композиция слоёв: каждый делает линейное преобразование (веса и смещение) и нелинейную функцию активации (ReLU, GELU). Без нелинейности любая глубина схлопнулась бы в…

22. Что такое переобучение модели и как с ним бороться? Junior

    Переобучение — модель запомнила обучающие данные вместе с шумом и плохо работает на новых; недообучение — модель слишком простая и плоха даже на обучающих.

23. Как обучают чат-модели — предобучение, SFT, RLHF и DPO? Middle

    Три этапа. Предобучение — предсказание следующего токена на огромном корпусе: модель получает знания о языке и мире, но просто продолжает текст. SFT (supervised fine-tuning) …

24. Что такое квантизация модели и чем приходится за неё платить? Middle

    Квантизация хранит веса (и иногда активации) с меньшей точностью: вместо 16 бит — 8 или 4. Модель занимает в 2–4 раза меньше памяти и генерирует быстрее, потому что decode…

25. Какие метрики используют для задач регрессии — MAE, RMSE, MAPE, R²? Junior

    MAE — средняя абсолютная ошибка, понятна в единицах цели, устойчива к выбросам. RMSE — корень из средней квадратичной ошибки, сильнее штрафует большие промахи. MAPE — средняя…

26. Что такое регуляризация и чем L1 отличается от L2? Middle

    Регуляризация добавляет к функции потерь штраф за большие веса, чтобы модель не подгонялась под шум. L2 (Ridge) — штраф за сумму квадратов: веса уменьшаются плавно, но не до нуля…

27. Что такое ROC-AUC и PR-AUC и когда какую метрику использовать? Middle

    ROC-кривая — зависимость доли найденных положительных (TPR) от доли ложных тревог (FPR) при всех порогах; ROC-AUC — площадь под ней, вероятность того, что случайный положительный…

28. Как работает токенизация в LLM и что такое BPE? Middle

    BPE (byte-pair encoding) строит словарь подслов: начинает с байтов или символов и многократно объединяет самую частую соседнюю пару в новый токен. Частые слова становятся одним…

29. Зачем делить данные на обучающую, валидационную и тестовую выборки? Junior

    Обучающая — на ней модель учится, валидационная — подбираем параметры и сравниваем модели, тестовая — один раз в конце для честной оценки.