Выборки, кросс-валидация, валидация по времени, утечки, смещение и разброс.
Практика. Обучить модель с разными глубинами дерева и построить кривые ошибки на обучении и валидации.
Практика. Найти и исправить утечку в учебном соревновательном решении, показав разницу в оценке до и после.
Практика. Спроектировать валидацию для прогноза спроса по тысячам товаров с разными горизонтами и проверить, что офлайн-оценка совпадает с результатом на отложенном периоде.
Обучающая — на ней модель учится, валидационная — подбираем параметры и сравниваем модели, тестовая — один раз в конце для честной оценки.
K-fold: данные делят на k частей, модель обучают k раз, каждый раз оставляя одну часть для проверки, и усредняют метрику — оценка надёжнее одного разбиения. Для временных данных…
Утечка — в обучении используется информация, недоступная в момент реального прогноза. Метрики на валидации получаются завышенными, а в продакшене модель проваливается. Виды…
Переобучение — модель запомнила обучающие данные вместе с шумом и плохо работает на новых; недообучение — модель слишком простая и плоха даже на обучающих.
Ошибку модели раскладывают на смещение (bias — модель слишком проста и систематически ошибается), разброс (variance — модель слишком чувствительна к конкретной выборке) и…
Precision — доля верных среди предсказанных положительных, recall — доля найденных среди всех настоящих положительных; F1 — их гармоническое среднее.
На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.
sotto