Обучение, валидация и метрики

Вопросы с собеседований

• Какие бывают задачи машинного обучения — обучение с учителем, без учителя, с подкреплением? Junior

  С учителем — есть правильные ответы (метки): классификация (предсказать класс — спам/не спам) и регрессия (предсказать число — цену). Без учителя — меток нет, ищем структуру…

• Зачем делить данные на обучающую, валидационную и тестовую выборки? Junior

  Обучающая — на ней модель учится, валидационная — подбираем параметры и сравниваем модели, тестовая — один раз в конце для честной оценки.

• Что такое переобучение модели и как с ним бороться? Junior

  Переобучение — модель запомнила обучающие данные вместе с шумом и плохо работает на новых; недообучение — модель слишком простая и плоха даже на обучающих.

• Что такое утечка данных (data leakage) в машинном обучении? Middle

  Утечка — в обучении используется информация, недоступная в момент реального прогноза. Метрики на валидации получаются завышенными, а в продакшене модель проваливается. Виды…

• Какие метрики качества классификации вы знаете? Junior

  Precision — доля верных среди предсказанных положительных, recall — доля найденных среди всех настоящих положительных; F1 — их гармоническое среднее.

• Что такое ROC-AUC и PR-AUC и когда какую метрику использовать? Middle

  ROC-кривая — зависимость доли найденных положительных (TPR) от доли ложных тревог (FPR) при всех порогах; ROC-AUC — площадь под ней, вероятность того, что случайный положительный…