Деревья, ансамбли и бустинг

Основа с Junior

Дерево решений, случайный лес, градиентный бустинг — XGBoost, LightGBM, CatBoost.

Дерево делит пространство признаков по порогам.
Случайный лес — независимые деревья на подвыборках, усреднение.
Бустинг — деревья последовательно исправляют ошибки предыдущих.
CatBoost сильнее с категориальными признаками, LightGBM быстрее на больших данных.

Критерии освоения

Объясняет, как строится дерево решений и чем случайный лес отличается от бустинга

Практика. Сравнить дерево, случайный лес и бустинг на табличном датасете по качеству и времени обучения.

Обучает и настраивает бустинг с ранней остановкой и выбирает между XGBoost, LightGBM и CatBoost
Объясняет ключевые гиперпараметры бустинга и их влияние на переобучение

Практика. Настроить LightGBM или CatBoost на соревновательном датасете с кросс-валидацией и ранней остановкой, обыграв базовую линию.

Доводит бустинг до продакшена с ограничениями по задержке и памяти — упрощение модели, квантизация признаков, дистилляция

Практика. Ускорить предсказание бустинга в 5 раз при потере качества не более 1% и описать выбранные компромиссы.

Как работает дерево решений и чем случайный лес отличается от градиентного бустинга? Middle
Дерево рекурсивно делит данные по признакам так, чтобы листья были максимально однородными; глубокое дерево легко переобучается. Случайный лес (бэггинг) обучает много глубоких…
Чем различаются XGBoost, LightGBM и CatBoost и как настраивать градиентный бустинг? Middle
Все три — реализации градиентного бустинга на деревьях. XGBoost — регуляризация в функции потерь и быстрая точная реализация; LightGBM — рост деревьев по листьям и гистограммы…

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.