BAGGING, СЛУЧАЙНЫЙ ЛЕС, РАЗЛОЖЕНИЕ ОШИБКИ НА СМЕЩЕНИЕ (BIAS) И РАЗБРОС (VARIANCE). полная лекция
Композиции моделей в машинном обучении позволяют решать более сложные задачи, на этой лекции рассматривается темы:
1. Почему композиции моделей работают с точки зрения математики (разложение ошибки на смещение и дисперсию)
2. Общее устройство композиции под названием бэггинг (bagging)
3. Как можно реализовать случайный лес с деревьями решений, реализованными через рекурсию.
Курсы на платформе Stepik:
1. Библиотеки Python для Data Science stepik.org/a/1...
2. Введение в нейронные сети (Keras/Tensorflow) stepik.org/a/1...
Для более осмысленного понимания, советую ознакомится с теорией построения дерева решений • Как обучается дерево р...
0:00 Введение
0:31 Общая концепция бэггинга
1:11 Разложение ошибки на шум, смещение и дисперсию
3:50 Модель с низким смещением (bias) и высоким разбросом (variance)
6:41 Модель с высоким смещением (bias) и низким разбросом (variance)
8:25 Резюме по смещению и разбросу
9:42 Математика объединения моделей в композицию
10:53 Корреляция между базовыми алгоритмами
11:28 Метод бэггинг (на бустрап выборках)
13:34 Метод случайных подпространств
14:26 Резюме по усреднению алгоритмов
16:20 Случайный лес
17:48 Количество признаков в случайном лесу для классификации и регрессии
18:20 Реализация случайного леса
19:38 Функция для генерации бустрапированных данных
21:15 Функция для генерации случайных признаков
23:06 Класс узла для дерева решений
23:57 Класс листа для дерева решений
25:04 Функция для критерия информативности Джини
26:11 Функция для прироста информации (information gain)
27:28 Функция для разбиения по вопросу
28:24 Функция для поиска наилучшего разбиения
31:15 Функция для построения дерева решений через рекурсию
32:52 Функция для построения случайного леса
33:34 Функция для классификации одного объекта деревом
34:51 Функция для классификации всей выборке
35:37 Функция для предсказания всем случайным лесом
37:45 Разбиение данных на обучение и тест
37:53 Функция для accuracy
38:40 Обучение случайных лесов
42:56 Резюме лекции
44:44 Вопрос про параметры случайного леса
47:16 Вопрос про вероятности при предсказании случайном лесом
49:01 Вопрос про разницу случайного леса и бустинга
50:10 Бэггинг бустингов
51:58 Вопрос про разные бустинги
53:30 Вопрос про масштабирования данных для деревьев
54:27 Вопрос про предобработку данных
57:35 Вопрос про балансировку классов (библиотека imblearn)
Пікірлер: 17
Хорошая лекция. Наконец-то понял алгоритм поиска наилучшего разбиения в дереве. Спасибо!
Юля, ты просто человечище! Респект и уважуха от студента Нетологии))
это как раз то о чем спрашивает тинькоф в своих тестах на позицию ML стажера
Подскажите, а где можно взять ноутбук из видео?
@machine_learrrning
2 жыл бұрын
Вот ссылка на ноутбук: colab.research.google.com/drive/1ws0Mg77aAmB1mIamWXYaD0p9hGn4vVRW
@user-wr7vn3ve5e
2 жыл бұрын
@@machine_learrrning Большое Спасибо!
ооо, челгу альма матер)
А вы с ЧелГУ?
@machine_learrrning
Жыл бұрын
Преподавала там несколько раз
@lolstalk
Жыл бұрын
@@machine_learrrning для магистров?
Стоп, а это в какой школе или университете? Я не думал что это где-то
@machine_learrrning
2 жыл бұрын
Это в университете преподаю
@user_ruslan_74
2 жыл бұрын
Написано же ЧелГУ.
@Diabolic9595
Жыл бұрын
Повезло же некоторым студентам с преподавателем)
звук пропадал периодически
@machine_learrrning
Жыл бұрын
к сожалению, при записи в дискорде возникали какие-то неполадки
@user-bj2yn8mp4r
Жыл бұрын
@@machine_learrrning , а по обучению без учителя (PCA, kMeans) у Вас есть лекции?