Дерево рекурсивно делит данные по признакам так, чтобы листья были максимально однородными; глубокое дерево легко переобучается. Случайный лес (бэггинг) обучает много глубоких деревьев на случайных подвыборках строк и признаков и усредняет — снижает разброс. Градиентный бустинг строит неглубокие деревья последовательно, каждое исправляет ошибки предыдущих — снижает смещение.
А ещё На табличных данных бустинг часто выигрывает у нейросетей
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Дерево решений. На каждом шаге выбирается признак и порог, лучше всего разделяющие данные (критерий — неопределённость Джини или энтропия для классификации, MSE для регрессии). Дерево легко читать, но без ограничений (глубина, минимум объектов в листе) оно выучивает каждую точку — высокий разброс.
Бэггинг и случайный лес:
Ошибки отдельных деревьев частично гасят друг друга. Бонус — оценка качества на объектах, не попавших в выборку (out-of-bag).
Градиентный бустинг:
| случайный лес | градиентный бустинг | |
|---|---|---|
| деревья | глубокие, независимые | мелкие, последовательные |
| что снижает | разброс | смещение |
| настройка | почти не нужна | важна |
| обучение | параллельно | последовательно |
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto