Композиции моделей в машинном обучении позволяют решать более сложные задачи, на этой лекции рассматривается темы:
1. Почему композиции моделей работают с точки зрения математики (разложение ошибки на смещение и дисперсию)
2. Общее устройство композиции под названием бэггинг (bagging)
3. Как можно реализовать случайный лес с деревьями решений, реализованными через рекурсию.
Курсы на платформе Stepik:
1. Библиотеки Python для Data Science stepik.org/a/1...
2. Введение в нейронные сети (Keras/Tensorflow) stepik.org/a/1...
Для более осмысленного понимания, советую ознакомится с теорией построения дерева решений • Как обучается дерево р...
0:00 Введение
0:31 Общая концепция бэггинга
1:11 Разложение ошибки на шум, смещение и дисперсию
3:50 Модель с низким смещением (bias) и высоким разбросом (variance)
6:41 Модель с высоким смещением (bias) и низким разбросом (variance)
8:25 Резюме по смещению и разбросу
9:42 Математика объединения моделей в композицию
10:53 Корреляция между базовыми алгоритмами
11:28 Метод бэггинг (на бустрап выборках)
13:34 Метод случайных подпространств
14:26 Резюме по усреднению алгоритмов
16:20 Случайный лес
17:48 Количество признаков в случайном лесу для классификации и регрессии
18:20 Реализация случайного леса
19:38 Функция для генерации бустрапированных данных
21:15 Функция для генерации случайных признаков
23:06 Класс узла для дерева решений
23:57 Класс листа для дерева решений
25:04 Функция для критерия информативности Джини
26:11 Функция для прироста информации (information gain)
27:28 Функция для разбиения по вопросу
28:24 Функция для поиска наилучшего разбиения
31:15 Функция для построения дерева решений через рекурсию
32:52 Функция для построения случайного леса
33:34 Функция для классификации одного объекта деревом
34:51 Функция для классификации всей выборке
35:37 Функция для предсказания всем случайным лесом
37:45 Разбиение данных на обучение и тест
37:53 Функция для accuracy
38:40 Обучение случайных лесов
42:56 Резюме лекции
44:44 Вопрос про параметры случайного леса
47:16 Вопрос про вероятности при предсказании случайном лесом
49:01 Вопрос про разницу случайного леса и бустинга
50:10 Бэггинг бустингов
51:58 Вопрос про разные бустинги
53:30 Вопрос про масштабирования данных для деревьев
54:27 Вопрос про предобработку данных
57:35 Вопрос про балансировку классов (библиотека imblearn)