Рекомендуемый порядок просмотра: 1. Нейронные сети за 10 минут: kzread.info/dash/bejne/eYhqy8-KdNvXm9I.html 2. Как обучить нейронную сеть: kzread.info/dash/bejne/p4uYm9CynpPXnJs.html 3. Нейронная сеть на Python с нуля: kzread.info/dash/bejne/qoGumbqMkdTKgqQ.html 4. Обратное распространение ошибки: kzread.info/dash/bejne/lItoxq2xpLisoMo.html 5. Обучение нейронной сети на Python: kzread.info/dash/bejne/lIx7pMeLqrCeZ8o.html

@sciences6705

4 жыл бұрын

а когда будет следующие видео?) а то хорошего контента по нейронным сетям в русскоязычном интернете мало! Очень хорошие видео!

@God_Programmer

2 жыл бұрын

На С# можно простой пример...

@Veyron104

7 ай бұрын

Интересно пощупать нейронки, но пока не понятно на сколько производительнее писать всё на пайтоне по сравнению с c#. Я так понял, что если писать в пайтоне, то там всё будет работать через действия с матрицами, которые можно перемножать на видюхе, а если всё делать через ООП в шарпе, тогда всё будет считать процессор?

Информативные видео, с хорошей инфографикой, жаль выходят не часто.

@user-uy8zl7qd2e

3 жыл бұрын

Будем ускоряться

Очень интересно смотреть. Нужно больше видео!

@user-uy8zl7qd2e

3 жыл бұрын

Будут! :)

очень подробно и грамотно все объясняете. правда иногда нужно по 2-3 раза переслушать. лайк и ждем новых роликов. От себя прошу разобрать сверточные сети с 0. также как и этот пример

Качественное видео ! Огромное вам спасибо !)

Отличное объяснение. Правда мне придется помучиться чуток, так как высшую математику я явно в шарашке своей мимо ушей пропускал.

Жаль что я алгебру не учил)

Спасибо большое за работу! Отсутствие хотя бы 1 дислайка говорит само за себя. Интересует вопрос касающийся функций активаций. Можете привести наглядные примеры того, как влияет та или иная функция на обучаемость модели? Например, объяснить геометрический (математический) смысл применения синусоиды, Relu, г. тангенса и в то же время не применения линейных и других функций. Опять же, я новичок, и возможно мое утверждение будет некорректное, но градиент же можно вычислить от любых функций. Просто принципы и методы благодаря вашему видео стали еще более понятными, но если спуститься на уровень самих вычислений, то появляются вопросы.

@user-uy8zl7qd2e

3 жыл бұрын

Есть некий сформировавшийся список функций активации, которые применяются в современных нейросетях. Получен он был эмпирическим путём. Не всегда у этих функций есть глубокий физический смысл. Часто это просто "улучшение" ранее использовавшейся более простой функции. За какими характеристиками функции можно следить: нелинейность (главное), дифференцируемость, простота вычисления функции и простота вычисления её производной, область определения (в какой диапазон функция отображает входные значения). Большинство таких функций активации это модификации сигмоидильных функций и функции ReLU. В разных задачах разные функции могут давать различный эффект. Если какая-то вычислительно сложная функция даёт лишь незначительный прирост в качестве, имеет смысл взять более простоую и быструю (напрмиер, обычный ReLU)

Хорошая пара видео про нейронные сети. Но, скорее всего вы столкнулись с проблемой, что их могут понять люди с хотя бы минимальными знаниями в этой области. Поэтому так мало просмотров... ну что ж тут поделать. Если вдруг ваша работа непосредственно связана со сферой Data Science - вы бы могли делиться своим опытом и знаниями, что привлекло бы больше аудитории) В любом случае удачи вам!

Отличные видеоролики!..Дети, вот светофор, он прямоугольный, устанавливается на вертикальностоящих столбах и навесных креплениях, у светофора есть три лампочки, к которым подходят провода, по которым идет переменный электрический ток, поверх каждой лампочки установлено плотное матовое стекло, каждое стекло своего цвета, расположение цветов следующее: снизу- зеленый, посередине - желтый, сверху - красный, цветные стекла помогают передать свет определенной длины волны, светофор устанавливается зачастую на неподвижных конструкциях, обращенных в определенную сторону, а его огни загораются поочередно... вам все понятно, дети?.. очень лаконично и красочно выглядит, но только непонятно ничего толком - (зачем все это нужно и самое главное как этим пользоваться на практике вообще не ясно).

вспомнил уроки алгебры и геометрии в школе пока смотрел твое видео, аж забыл нафиг я его смотрю. Мне кажется ты сложно объясняешь лучше на практике и коде, а походу объяснения.

Видео очень полезное и хорошо преподнесенное. Много просмотрел материала по обучению нейронных сетей, но нигде не сказано, почему делается всего лишь один (!) шаг при градиентном спуске? Почему не определить оптимальное значение параметров сети для конкретного примера, а а затем выставить новые значения для обучение и опять найти оптимум и.д.? Наверно, в продвижении по одному шагу градиентного спуска для каждого нового обучаемого примера и есть необъяснимая загадка настройки сети для разных вариантах входных значений!

Супер, спасибо!

Хорошее видео для общего ознакомления тех, кто не знает. Но судя по формулам, есть некоторая информация для специалистов. А для большей части слушателей нужна практика. Иначе, нету смысла снимать такие видео.

Дмитрий, Спасибо за урок! Хорошо объясняете! Понятно, что значит градиентный спуск и понятна логика функции обновления весов w1 = w0 - α * ∂E/∂w * w0. Но пока четко не понятно как рассчитать градиент, получить конечную формулу и потом записать в коде (Python). Разобрать на простом примере бы для ясности. А также разобрать, CROSS ENTROPY чем лучше MSE.

@user-uy8zl7qd2e

4 жыл бұрын

Одно из следующих видео будет в точности на эту тему. Уже в разработке.

@user-uy8zl7qd2e

3 жыл бұрын

Вычисление градиента: Обратное распространение ошибки --> kzread.info/dash/bejne/lItoxq2xpLisoMo.html

@mrx8312

2 жыл бұрын

@@user-uy8zl7qd2e Супер!)

Описанный Вами метод обратного распространения ошибки был предложен Д.Румельхартом с соавторами в 1986 году. Пример простой сети: 2 входных сигнала, 2 скрытых слоя по 2 нейрона плюс нейрон смещения для каждого скрытого слоя, выходной слой из 2 нейронов плюс нейрон смещения, все функции активации - сигмоиды. Вы могли бы для такой сети привести КОНКРЕТНЫЕ ПРАВИЛЬНЫЕ формулы ( которые можно закодировать в виде программы ) : - рекуррентного пересчета ошибки из выходного слоя сети на выход предыдущих скрытых слоев, вплоть до первого слоя; - формулы подстройки весовых коэффициентов и смещений для выходного слоя; - формулы подстройки весовых коэффициентов и смещений для предыдущих скрытых слоев (хотя бы одного) через пересчитанную ошибку выходного слоя. Много различных вариантов встречается, есть отличия. Для правильного понимания мне нужно самому все написать с нуля, без библиотек и движков. Буду очень признателен за список хороших, конкретных, понятных первоисточников, литературы по проектированию и обучению нейросетей прямого распространения.

@user-uy8zl7qd2e

3 жыл бұрын

"нужно самому все написать с нуля, без библиотек и движков" -- сейчас мы именно этим на канале и занимаемся. Два вышедших видео (kzread.info/dash/bejne/qoGumbqMkdTKgqQ.html и kzread.info/dash/bejne/lItoxq2xpLisoMo.html), а также следующее, которое на подходе, как раз про это. Надеюсь, Вы найдёте в них часть ответов.

Рассказывй еще про железо, особенно то что могут собрать простые смертные как я.

@user-uy8zl7qd2e

4 жыл бұрын

Будет

Так держать,у тебя очень хорошо получается!

презентация в монтаже 10/10

Полезные ролики, после плотного изучения материала, помогают всё структурировать.

чеееееееел...... Лучшее объяснение на ютубе , легче только мозг себе другой имплантировать.Спасибо

2:30 индекс i показывает вариант ответа или номер наблюдения? Если номер наблюдения, то что тогда такое zi и yi? Вектора предсказанных вероятностей и правильного ответа для наблюдения i? Но на 2:53 появляется индекс j. Это опечатка или тут другой уже индекс?

Здравствуйте. Помогите пожалуйста создать и перевести оборудование электроподстанции через нейросеть

Очень непростая математика. Спасибо, что общий принцип хорошо разъяснил. С таким пониманием мне сильно проще в подробности углубляться. Для чего нужно в один batch добавлять сразу несколько значений? До сих пор я думал, что на каждом шаге обучения - один набор данных для сетки. Как это работает в случае нескольких наборов в batch ? По каким критериям выбирают (подбирают наборы) их количество в batch ?

@user-uy8zl7qd2e

4 жыл бұрын

Спасибо за вопрос, более подробно всё это покажу на практике, когда будем обучать свою нейросеть на Python. Использование более одного образца в батче (на одном шаге) позволяет улучшить сходимость (и стабильность обучения) и ускорить процесс (из-за большего потенциала для распараллеливания). По поводу стабильности: если на каждом шаге будет только один образец, то вектор градиента будет сильно «колбасить» от итерации к итерации, а соответственно и весь процесс обучения. А если в батче несколько образцов, и градиент вычисляется по всем ним (ошибки суммируются), то поведение градиента будет более плавным (по аналогии со сглаживанием). Как выбирать элементы в батч? Делать это нужно случайным образом. Например, сначала мы перемешиваем все образцы в обучающей выборке, а потом уже в перемешанном списке набираем последовательно группы образцов. Чему должен быть равен размер батча? Это гиперпараметр, то есть его надо выбирать вручную экспериментально. Обычно используются значения в районе 64 (плюс минус степень двойки), но бывают и более экстремальные значения - зависит от финального качества и от возможности распараллелить (и уместить батч в памяти GPU).

Спасибо, все понятно и не скучно👍

Чел, огромное тебе спасибо.

Спасибо за видео. Какие книги наиболее понятны для новичков в CV?

То-есть, у меня 16 примеров для обучения, я прогоняю все 16 через нейросеть, записываю значения выхода в список, использую формулу MSE, и после этого корректирую веса? Меня учили иначе, прогоняем пример, вычисляем ошибку, распространяем ошибку, корректируем веса. повторяем все для 16 примеров. Какой метод правильный и что будет работать быстрее и точнее?

Привет, Дмитрий! Как можно вставить в мягкую игрушку нейронную сеть и начать её обучать человеку, который не умеет пользоваться компьютером? Предполагается что обучение будет проходить только через диалог, и если нужно подтвердить правильность выбора, то тоже через диалог или на крайний вариант две кнопки на мягкой игрушке "Да" или "Нет". Может такая игрушка уже создана и недорого состоит? Сколько будут стоить недорогие компоненты что бы мягкую игрушку снабдить всем необходимым?

Ставлю класс

Большое спасибо!

Очень интересно. 😮

Привет! Планируешь дальше выпуски по нейросетям? У тебя очень хорошо получается! Может просто ушел куда-то на другую площадку?

Выходит, что обратное распространение ошибки - это когда сеть сама себя проверяет при подборе весов? MSE - для регрессии, Cross-enthropy - для классификации?

Контент просто бомба!!!! 👍👍Дмитрий я снимаю шляпу за такое видео. Спасибо вам большое и успехов вам 👏👏👏👏

То есть для одной задачи два разных человека могут сделать разную нейронную сеть и в итоге, если даже в обоих случаях результат будет правильным, он может быть разным? Как разные картины?

@user-uy8zl7qd2e

3 жыл бұрын

Да

Здравствуйте. Подскажите как сохранить обученую нейронную сеть в программу для открытия на любом компе. В файл ехе. То есть по максимуму сделать автоматическое распознавание. Запустил программу она например фотографирует через веб камеру цифры и выдает результат.

@hackerman5984

3 жыл бұрын

Да,мне тоже интересно.

@user-uy8zl7qd2e

3 жыл бұрын

Есть множество вариантов. Если мы реализуем нейросеть на Python и в таком же виде её отправляем в продакшн (для инференса), то либо мы храним веса (а иногда и модель) в формате того фреймворка, на котором мы обучали (Pytorch, TensorFlow), либо в формате numpy. "На другом компе" нейросеть загружется в память с помощью соответствующих Python скрптов (Ваших). Если вы всё же хотите получить на выходе EXE (скомпилированный бинарный файл), то скорее всего Ваша нейросеть (а точнее программа её загрузки и выполнения) будет написана на языке типа C++. В таком случае и формат данных (веса нейросети) и процедуру их загрузки скоере всего придётся реализовать самостоятельно. Или использовать некий нейросетевой фоеймворк, поддерживающий C++. Таких тоже достаточно много. Тогда дополнително может потребоваться конвертация весов нейросети из формата, который использовался при обучении в формат, используемый при инференсе. Сейчас зачастую всё крутится вокруг формата ONNX (там можно хранить и модель и веса к ней).

@buzok512buz6

3 жыл бұрын

@@user-uy8zl7qd2e Спасибо за обширный ответ. Я делал в jupyter notebook, все заработало. Но при попытке запустить на другом компе вылезли ошибки которые не удалось устранить. По этому и возник вопрос как то сохранить для возможности запуска на любом компе. Написание нейронки на си не рассматриваю, ведь для новичка на питоне больше примеров.

Невероятно качественно. Хочу больше, пожалуйста

Спасибо наконец то я понял как находится функция ошибки, а то до этого приходилось хранить ошибку с предыдущего цикла обучения чтобы понять, в правильном ли направлении мы двинулись в этом цикле или нет. и на основании этого принималось решении продолжать смещать весы в этом направлении или развернуться.

А метод покоординатного спуска используется? А другие методы оптимизации?

Очень крутой контент

Спасибо!

Качество видео супер, но не для новичков к сожалению :( Слишком много непонятных терминов из линейной алгебры, из-за чего смысл некоторых моментов перестаёт быть понятен

В этом видео понял больше в курсе 70 часов про нейронные сети

Вот бы новые видео по данной теме

@user-uy8zl7qd2e

3 жыл бұрын

уже есть)

гиперпараметры можно подобрать при помощи Keras-tuner

Thanks!

Очень интересное и полезное видео! Сразу стало понятно, как обучать нейронные сети. А в какой программе вы делали анимацию, если не секрет?

@JenyNiigga

2 жыл бұрын

After effects скорее всего

@user-ub9wv4vo9x

2 жыл бұрын

@@JenyNiigga спасибо, буду смотреть👍

Ну спасибо. Объяснил...

Приятно удивлен вашей оперативностью. Большое спасибо за ответ. Имеется немало вопросов: Предназначение функции SOFTMAX - масштабирование выходных данных? Самостоятельно нашел материал о нормализации входных параметров нейросети. Почему в выходном слое можем не применять функцию активации, а суммарный сигнал сразу подаем на SOFTMAX? Избыточная нелинейность? Если функция активации сигмоида, стартовые случайные значения весовых коэффициентов должны располагаться в диапазоне [ -A, A] , где А - небольшое число ? Нулевые случайные значения весовых коэффициентов нежелательны? Каким рекомендуется выбирать небольшое число А, если все входные значения нормированы в диапазоне [0, 1]? Каковы рекомендации по выбору стартовых случайных значений смещений (диапазон, величина)? Напрмер, на входе нейросети 10 нормированных значений. Нейросеть должна классифицировать входной сигнал на три различных взаимоисключающих класса. Какое оптимальное количество слоев и по сколько нейронов рекомендуется для этого случая?

Я правильно понимаю что значение градиента это ошибка которая будет получена при определенном изменении весов, а сам градиентный график это все возможные комбинации весов, вернее их результирующее значение ошибки, среди которых ищется комбинация, дающая минимальное значение ошибки, и все возможные комбинации сканируются с определенным шагом альфа?

Лучшее

Судя по комментариям я один понимаю из сказанного только союзы и предлоги... Особенно порадовало на 3:42 "А теперь влючаем Матан" Он всегда у вас влючён! или "Самое простое можно просто посчитать евклидово расстояние или функцию MSE от этих двух векторов"...... Где тут просто? Никакого пояснения о чём речь вообще... ролик просто продолжается как будто я должен быть в курсе что это... Просто смотрите... я когда хочу НАЧАТЬ в чём-то разбираться... я топаю на ютюб... просто чтобы понять хоть какие-то основы.. но тут я по ощущениями роликов 100 до этого случайно не посмотрел чтобы просто понять о чём вы вообще... и да я смотрел первый ролик "Нейронные сети за 10 минут" та же история... я где-то курс по вышмату пропустил на него ссылки нет?

Хороший формат обучения

спасибо!

Не понимаю откуда берется функция ошибки. Ее же потом нужно дифференцировать? Значит она должна быть гладкой?

А при каком значение производной можно заканчивать обучение?

По-моему mse это не совсем евклидово расстояния. Евклидово расстояние с корнём, а у Вас с 1/n

Отличные ролики! А отсутствие фоновой музыки дает +1000 в карму.

очень хорошо рассказываете, спасибо вам!

Нейросеть c 3 нейронами на выходе должна классифицировать входной сигнал на три различных взаимоисключающих класса. Для правильной коррекции весов и смещений нейросети методом обратного распространения необходимо: А) использовать в качестве сигнала ошибки ОДНО (ОДИНАКОВОЕ) значение среднеквадратического отклонения полученного результата и правильного результата для всех выходных нейронов ??? ИЛИ Б) использовать в качестве сигнала ошибки для каждого нейрона его собственную разность реального и правильного сигнала ( 3 разных разности, для каждого нейрона - своя) ??? Очень много хорошего пишут о генетических методах обучения нейросетей.

Дмитрий,как с вами связаться?имеется коммерческое предложение

Видео очень информативные, спасибо автору за них с:

Дмитрий, что означает б(только наоборот)?

@user-sp7kj9ho6y

Жыл бұрын

Изменение того, что после б

да

ОоО,вот это уже сложнее тема

Блин а можешь пж в конце видео делать вывод и все что говорил в этом видео говорить в кратче и очень коротко чтобы вывод был и остался

Большое спасибо за качественное, содержательное видео. Ждем продолжения. Любителям очень полезны и интересны подробные, конкретные примеры реализации и обучения простейших нейросетей, позволяющие правильно понять и сформулировать ПРИНЦИПЫ и АЛГОРИТМЫ. Например, довольно симпатичное видео на эту тему: kzread.info/dash/bejne/pmF-0s9qkduom9I.html МНОГОСЛОЙНЫЕ НЕЙРОННЫЕ СЕТИ. ОБУЧЕНИЕ. Backpropogation: ОБРАТНОЕ РАСПРОСТРАНЕНИЕ ОШИБКИ К его недостаткам примера следует отнести отсутствие смещения на входах нейронов, нет алгоритма коррекции значений смещения. Сделайте круче! У Вас получится!

@user-uy8zl7qd2e

4 жыл бұрын

Спасибо за отзыв. Подобное видео есть в моём контент плане и уже находится в разработке.

@vk9948

4 жыл бұрын

@@user-uy8zl7qd2e Добрый день, Дмитрий! Не могу до конца понять алгоритм обучения нейросети на стохастической выборке. Пропустив всю выборку в прямом направлении, получим массивы ошибок на нейронах выходного слоя от каждого входного сигнала. Можем вычислить суммарную ошибку, среднюю, среднеквадратическую и т.д. Для пересчета ошибки на предыдущие слои, для коррекции весов и смещений необходимы ИНДИВИДУАЛЬНЫЕ значения входов, выходов нейронов, значения производной функции активации от суммирования (вход*вес - смещение). Ошибка у нас «коллективная». Какие значения input, output, derivative (sum) брать из всего доступного множества брать для последующих расчетов? Прошу у Вас помощи и пояснений. Заранее благодарю. Владимир

Я вот вообще ноль по этой теме, могу чисто открыть блокнот написать что нибудь и печать 😢

батч)))) batch - партия, пакет, серия, группа. туземцы forever))))))

Я нифига не понимаю... Почему нельзя было привести пример на числах? Где брать эти веса, куда их перемножать, для чего. Сотни видосов посмотрел, так и не понял ничего про нейросети

@mark7854

4 ай бұрын

Если вы не можете понять нейросети, значит вам либо недостаточно математики, либо недостаточно концентрации и внимания

сразу практику бы видеть

здравствуйте программисты из мгсу

После 1:25 уже ничего не понял))

Котелок начал закипать к концу

Всё сложно.😀

Неоправданно много и со слишком большой амплитудой трясёт руками. Это бессодержательное мельтешение в кадре сильно отвлекает. Если нужно показывать лицо себя любимого (по каким-то причинам), то можно в углу маленькое окошко оставлять, а основной кадр на содержательную часть отводить.

Но ошибка это просто число. Как Вы от неё берёте производную? Непонятно...

@user-sp7kj9ho6y

Жыл бұрын

Число - это для конкретного входа и конкретной матрицы весов. Ошибка - функция от входа ( аргумент Х) и матрицы весов (аргумент W).

усвоено 0 данных информации, я знаю как устроен персептрон, знаю про выборки и прочее, но как происходит обучение прям на самом дне с примерами мне не понятно

Тема сисег не раскрыта. Увы....

Откуда взялась "б" наоборот?

@user-qq2jf7vr4b

3 жыл бұрын

Это знак частной производной

осталось непонятным как реализовать в коде

Хорошие видео, но гипержестикуляция отвлекает

а где такоизе но для питона???

вода вода вода

бессмысленное бла бла бла

@hackerman5984

3 жыл бұрын

Ну да,что ждать от человека без мозгов вроде тебя.

@user-om5ry3vs1s

2 жыл бұрын

А что именно тебя не устраивает? Сделай тогда сам объяснение получше\