отличная подача материала👍

> Гиперпараметры - не подбираются по обучающей выборке, только по кроссвалидации или отложенной выборке. Т.е. 1) обучаем модель с коэф-регуляризации == 0 2) подбираем коэф-регуляризации по кроссвалидации или отложенной выборке ... далее, что делаем?: А) просто используем обученную модель с подобранным коэф-регуляризации Б) переобучаем модель с подобранным коэф-регуляризации

конспект

@PavelLomov

5 ай бұрын

Выбор размера разбинения - чем меньше данных, тем больше К (т.е. фолды должны быть маленькими), тогда тестовая выборка (1 фолд) будет много меньше обучающей (К-1 фолд). Критический вариант leave-one-out -> K = числу образцов Итоговая модель при кроссвалидации: - обучаем на все данных - пользуем все модели, но усредняем прогноз (популярный класс при классификации, среднее значение при регрессии) Если разброс (дисперсия) K-оценок большой - модель плохая. Но надо учитывать размер фолда - если он маленький, то разброс будет больше by-design Регуляризация - предотвращение появления больших весов ($10^5$, $10^6$) у модели = запрещаются слишком "резкие" изгибы = борьба с переобучением. В расчет выходного значения добавляем слагаемой: лямбда*норма_весов^2 = коэф_рег * регуляризатор (для MSE) норма_весов = корень из суммы квадратов wi = ||w||_2 Теперь при минимизации ошибки по некоторому весу учитывается вклад этого слагаемого - т.е. при большом весе - это будет гигантский вклад в ошибку и поэтому этот вес будет сильно уменьшен. Важно: в регуляризатор не добаляем свободный член $W_0$, иначе модель будет выдавать только небольшие значения т.к. не будет $W_i$, которое может дать большое значение. Гиперпараметры - не подбираются по обучающей выборке, только по кроссвалидации или отложенной выборке. Коэф_рег - гиперпараметр L1 норма - регуляризатор = лямбда * сумма модулей wi = лямбда * ||w||_1 L1 может занулить некоторые wi + чем больше коэф, тем чаще