[DeepLearning | видео 4] Формулы обратного распространения
Оригинальная запись: • Backpropagation calcul...
Жүктеу.....
Пікірлер: 71
@ZERO_TW0 Жыл бұрын
"Здесь довольно много членов" пожалуй теперь я всегда буду использовать именно эту фразу, перед объяснением чего-то сложного)
@DmitryBaranovskiyMrBaranovskyi3 жыл бұрын
Это было самое долгое десятиминутное видео которое я видел.
@McCosmo7773 жыл бұрын
Единственный канал, который нормально объясняет принципы работы нейросети
@kryptodog1066
4 ай бұрын
Уже не единственный, но тоже верно
@McCosmo777
4 ай бұрын
@@kryptodog1066, поделитесь ссылками на хороших авторов по теме
@maboy_a
4 ай бұрын
@@kryptodog1066 подскажи какой ещё появился
@stalker32041
Ай бұрын
@@kryptodog1066 а какие другие?
@muggzzzzz3 жыл бұрын
А разве L это степень, а не просто индекс как было оговорено в начале ролика? Ухо режет это постоянное упоминание "в степени L". Уж лучше говорить "с индексом L" или "с индексом L-1" или "слоя L" и т.д. За исключением этого, материал отличный!
@GuNStaRia
2 жыл бұрын
абсолютно. Если первые три урока были понятны и последовательны, то четвёртый урок просто с ума сводит.
@user-pl2dw8fi3p
Жыл бұрын
Поря менять переводчика или выложить нормальный учебник.
@liha478
Жыл бұрын
Я спустился в комменты чтобы увидеть этот коммент. Немного ошибся автор перевода, не будем за это в него сильно кидаться тапками)
@user-nw1nz6ne2t
Ай бұрын
L вверху это степень в низу индекс. если обынчо L это индекс но есть формула в которой индекс участвует в формуле как архгуемнт то все нормально . Такое повсеместно в рядах .
@user-rl8fy6xe1t
10 күн бұрын
@@user-nw1nz6ne2t в данном случае это не степень а индекс но и находится вверху
@user-zo2jh8ii1x3 жыл бұрын
Господи, как все прекрасно понятно, спасибо!!!!
@Smile-to5enАй бұрын
просто лучший из лучших, если бы не серия из этих видео я бы никогда не додумался написать свою нейросеть))
@KlimovArtem13 жыл бұрын
Вот это уже ещё интереснее и очень наглядно объяснено.
@user-st1rj9jl4y Жыл бұрын
отлично, то что надо. после предыдущего видоса, эта инфа легла отлично!
@tensorfly4508 Жыл бұрын
Да, когда индекс называют степенью - это немного путает. Плюс некоторые формулировки ломают мозг, например эта: 5:00 "В случае с последней производной, значение этого малого изменения веса влияет на последний слой, зависящий от того, насколько силён предыдущий слой." - шо? Глянул оригинал. Там как-то яснее сформулировано. Вроде как-то так переводится (во всяком случае для меня это звучит более понятно, может кому другому тоже поможет, кто затупил на этом моменте): 5:00 В случае с последней производной, то, насколько сильно изменится значение в последнем слое при данной небольшой корректировке веса, зависит от того, насколько силён предыдущий нейрон. Учитывая, что это одна из основных мыслей данного видео, стоит быть точнее к формулировкам в данных моментах.
@user-qd9ur2vp7x3 жыл бұрын
Полезный контент, очень жду продолжения!
@PureTuberr
3 ай бұрын
Вот, кстати, спустя 3 года оно вышло.
@ambassadornox19192 жыл бұрын
Спасибо большое за перевод! Я понимаю на англ, но все равно смотрю на русском, чтобы открыть другой вид понимания. Но для тех, кто не понимает англ и даже для меня, это видео очень полезно! Спасибо ещё раз
@gcneochrom6 ай бұрын
Чтобы не путаться, можно говорить не в "а в степени L" а "а-эльное". Но это детали. Объяснено неплохо.
@annaponomarova34723 жыл бұрын
сложно, но очень интересно!!!
@ilyaazin76553 жыл бұрын
Эх, вот полгода назад бы этот видос...
@oshyo20003 жыл бұрын
Вот сейчас уде трудно
@user-tp1qn2wt6t3 жыл бұрын
я бы описал принцип работы нейронных сетей в двух словах, обучения нейронной сети это решения систем нелинейных уравнений, где сами уравнения являются частными производными функциями минимизации
@user-qj1il1ns5q2 жыл бұрын
Это единственное видео с нормальным объяснением. Но в формулу можно добавить небольшие дополнения: В итоговую формулу ошибки можно добавить множитель 0.5 для повышения точности. Также стоило бы уточнить ,то на выходном слое производная веса от общей ошибки
@psevdonim.erkesha Жыл бұрын
Спасибо за труд. Но как-то непривычно слышать вместо "игрек" "уай"
@prosperitystar2 жыл бұрын
Neurones that wire together, fire together
@lankryf Жыл бұрын
Базировано
@user-gs6of5vv6r3 жыл бұрын
Жду еще видео по нейронным сетям
@1Hanch
3 жыл бұрын
В оригинальном канале с которого делался перевод больше по нейронным сетям видео нет
@chetesfine93673 жыл бұрын
Это бесценно !!! Внимайте глупцы )
@vdvorezlaya10 ай бұрын
7:18 "возмем k как индекс слоя L-1" - в такой формулировке мозги начинают сильно плавиться, потому как k это все таки индекс нейрона (а точнее - активации нейрона) в слое L-1 а не индекс слоя L-1. Тоже касается и индекса j. Вцелом - это самое понятное видео из всех доступных в интернете. Но некоторые моменты с формулировками достаточно сильно спотыкают в понимании.
@vertual8097 Жыл бұрын
найдя ошибки, как понять на сколько корректировать веса?
@user-ww6kh2kb4j Жыл бұрын
Несколько раз поймал себя на мысли что переводчик далек от математики.
@daniil27043 жыл бұрын
Не знаю как все, но до этой части, было все понятно. Тут как пошли формулы, дичь какая то :)
@darkfrei23 жыл бұрын
8:34 - а как мы определяем target нодов слоя L-1? Ну, для получения значения ошибки нужно знать к чему нужно стремиться.
@AleckBoronnikov
3 жыл бұрын
Нас не сколько интересуют целевые значения нейронов L-1 слоя, сколько их ошибки, т.е. отклонения нейронов от целевого значения. Эти отклонения по сути являются значениями частных производных функции ошибок сети (Cost) по выходам нейронов предыдущего слоя. Как вычислить частные производные рассказано в этом видео. Но изложенная методика также позволяет вычислить частные производные по каждому из весов, даже не вычисляя явно ошибки нейронов слоя L-1. Для этого: 1. Представляем функцию ошибок, как функцию весов последнего слоя (L). 2. Затем по цепному правилу вычисляем частные производные по каждому из весов последнего слоя (L) (они нам и нужны) 3. Затем, когда производные по весам вычислены, считаем их константами, а аргументом считаем значения нейронов предыдущего слоя (L-1), которые (как неожиданно) оказываются функциями весов предыдущего слоя (L-1). 4. Математически это выглядит, как удлинившаяся цепочка по правилу дифференцирования сложной функции, но, которая, тем не менее, позволяет теперь нам вычислить частные производные по каждому из весов предыдущего слоя (L-1). Обратите внимание, что для их вычисления нам *не нужно знать в явном виде* ошибки нейронов предыдущего слоя (L-1). Этот процесс можно продолжать до тех пор, пока все частные производные по всем весам не будут вычислены. После этого мы можем делать шаг градиентного спуска.
@user-cn1sd4hg1m
3 жыл бұрын
@@AleckBoronnikov Здравствуйте, я как понял вы неплохо понимаете тему, не могли в пояснить в аглоритмических примерах) с математикой туговато а в алогитмах бы разобрался, я так понимаю в этих 4 видосах более-менее современное представление о нейронных сетях хотелось бы попробовать реализовать что-то на практике
@AleckBoronnikov
3 жыл бұрын
@@user-cn1sd4hg1m а в алгоритмах так же математика ) алгоритм - это последовательность действий. математика - это то, что позволяет описать смысл производимых действий.
@user-cn1sd4hg1m
3 жыл бұрын
@@AleckBoronnikov ну да, это проще чем в формулах
@AleckBoronnikov
3 жыл бұрын
@@user-cn1sd4hg1m ну так, а какой толк в объяснении алгоритма, если весь смысл в математике )
@ileowin3 жыл бұрын
сначала произносите что L это индекс.. потом степень.. повнимательней пожалуйста.. кто так это за чистую монету примет!
@AleckBoronnikov
3 жыл бұрын
трудно переводить то, чего не понимаешь )
@paprikar
2 жыл бұрын
@@AleckBoronnikov не трудно, если ты достаточно понимаешь английский, то сможешь без особых проблем делать качественный перевод. Разве что тут можно было и по смыслу гогадаться, что речь не о степенях идёт, ведь об этом явно сказали.....
@user-jr6ue7rk9p Жыл бұрын
Значит, чтобы обучить, нужно просто найти производную, и к весам добавить небольшую коррекцию?
@user-do5dy3ug3x
Жыл бұрын
все верно, постоянная (итеративная) корректировка весов в сторону уменьшения итоговой ошибки.
@sergkonov2958 Жыл бұрын
Ничего не понятно но очень интересно
@user-cr1hc9cj6t2 жыл бұрын
И вот на 4м видео я посыпался
@dimaanisovich30342 жыл бұрын
1:52 - зачем в квадрат возводить? Почему просто не отнять y?
@malex81
2 жыл бұрын
что бы получить положительное число - ошибка не должна быть отрицательной по смыслу. Можно, конечно, взять по модулю, но квадрат лучше дифференцируется.
@user-dw8bf2me2i Жыл бұрын
в чем сила брат? сила в понимании матанализа... пройдут годы, а ты все равно в старой тетради найдешь что-то новое
@namelast88744 ай бұрын
Мне странно что кто-то может не знать этого, это же самые азы.
@irynatrygub59353 жыл бұрын
на 25 секунде небольшая неточность: "а с индексом Л", а не в степени
@vitok-xd9wq
2 жыл бұрын
Он же сказал, что они являются индексами, только называет их он степенями
@abdurahmanibnhatab11813 жыл бұрын
все хорошо, но как писали ниже L это просто индекс, а не степень
@ceo-s Жыл бұрын
2:19
@linkernick53793 жыл бұрын
Спасибо за перевод (он, честно говоря, мне не нужен - у меня с английским норм, но уверен, кому-то может очень пригодиться!)
@user-do5dy3ug3x Жыл бұрын
Мне кажется, что нейросети гораздо прозаичнее, чем классический ML, где есть свобода выбора моделей и фичинжиринг.
@elenagaprindashvili Жыл бұрын
помогите я ничего не понимаю
@user-zy7ui3ix1z
Жыл бұрын
Ничего, я тоже. Но это проходит со временем.
@paprikar2 жыл бұрын
За перевод, конечно, спасибо, но он далеко не идеален. Например, 3b1b не говорит в исходнике "а в степени L", а просто говорит "a L". И такие погрешности встречаются нередко. Не то, чтобы я нашел что-то ещё контретное, мне просто лень, но мне куда понятнее слушать исходник на английском, не родном для меня языке, чем перевод на русском. Это само по себе уже о чём-то говорит. И это касается не только текста - озвучивание тоже можно улучшить. Несколько трудно воспринимать речь диктора, который не знает, как должным образом озвучить текст, на что сделать акцент и тд, ведь это важная составляющая. Если диктор не может понять тему видео - не беда, ведь можно брать за основу то, как говорит автор.
@user-gs1li9mb6s Жыл бұрын
как я понял суть - создать такие математические условия в алгоритме, что бы максимально точно получить ЖЕЛАЕМЫЙ! и заведомо известный результат. Вот это и есть - наука?)
@sanchopansa8956
Жыл бұрын
Да, совершенно верно. Желаемый и заведомо известный результат на обучающее выборке. Если таковая выборка достаточно полна, то нейросеть обучится правильно, и сможет давать верные результаты в тех случаях, с которыми не была знакома. Это и есть наука)
@MrKerimos3 ай бұрын
видел видео и понятней по нейросетям. автор сильно погряз в математической закостенелости и не может осознать, что если называть каждую переменную 3 символами, то не удивительно, что ничего не будет понятно. легче было бы дать полные имена каждой переменной, как это принято в программировании
@PhyzmatClass4 ай бұрын
Зачем так долго объяснять то что нужно взять производную от сложной функции??
@stanferrari45507 ай бұрын
высосоно из пальца, столько буков лишних) наверное специально чтобы народ думал что это сложно
Пікірлер: 71
"Здесь довольно много членов" пожалуй теперь я всегда буду использовать именно эту фразу, перед объяснением чего-то сложного)
Это было самое долгое десятиминутное видео которое я видел.
Единственный канал, который нормально объясняет принципы работы нейросети
@kryptodog1066
4 ай бұрын
Уже не единственный, но тоже верно
@McCosmo777
4 ай бұрын
@@kryptodog1066, поделитесь ссылками на хороших авторов по теме
@maboy_a
4 ай бұрын
@@kryptodog1066 подскажи какой ещё появился
@stalker32041
Ай бұрын
@@kryptodog1066 а какие другие?
А разве L это степень, а не просто индекс как было оговорено в начале ролика? Ухо режет это постоянное упоминание "в степени L". Уж лучше говорить "с индексом L" или "с индексом L-1" или "слоя L" и т.д. За исключением этого, материал отличный!
@GuNStaRia
2 жыл бұрын
абсолютно. Если первые три урока были понятны и последовательны, то четвёртый урок просто с ума сводит.
@user-pl2dw8fi3p
Жыл бұрын
Поря менять переводчика или выложить нормальный учебник.
@liha478
Жыл бұрын
Я спустился в комменты чтобы увидеть этот коммент. Немного ошибся автор перевода, не будем за это в него сильно кидаться тапками)
@user-nw1nz6ne2t
Ай бұрын
L вверху это степень в низу индекс. если обынчо L это индекс но есть формула в которой индекс участвует в формуле как архгуемнт то все нормально . Такое повсеместно в рядах .
@user-rl8fy6xe1t
10 күн бұрын
@@user-nw1nz6ne2t в данном случае это не степень а индекс но и находится вверху
Господи, как все прекрасно понятно, спасибо!!!!
просто лучший из лучших, если бы не серия из этих видео я бы никогда не додумался написать свою нейросеть))
Вот это уже ещё интереснее и очень наглядно объяснено.
отлично, то что надо. после предыдущего видоса, эта инфа легла отлично!
Да, когда индекс называют степенью - это немного путает. Плюс некоторые формулировки ломают мозг, например эта: 5:00 "В случае с последней производной, значение этого малого изменения веса влияет на последний слой, зависящий от того, насколько силён предыдущий слой." - шо? Глянул оригинал. Там как-то яснее сформулировано. Вроде как-то так переводится (во всяком случае для меня это звучит более понятно, может кому другому тоже поможет, кто затупил на этом моменте): 5:00 В случае с последней производной, то, насколько сильно изменится значение в последнем слое при данной небольшой корректировке веса, зависит от того, насколько силён предыдущий нейрон. Учитывая, что это одна из основных мыслей данного видео, стоит быть точнее к формулировкам в данных моментах.
Полезный контент, очень жду продолжения!
@PureTuberr
3 ай бұрын
Вот, кстати, спустя 3 года оно вышло.
Спасибо большое за перевод! Я понимаю на англ, но все равно смотрю на русском, чтобы открыть другой вид понимания. Но для тех, кто не понимает англ и даже для меня, это видео очень полезно! Спасибо ещё раз
Чтобы не путаться, можно говорить не в "а в степени L" а "а-эльное". Но это детали. Объяснено неплохо.
сложно, но очень интересно!!!
Эх, вот полгода назад бы этот видос...
Вот сейчас уде трудно
я бы описал принцип работы нейронных сетей в двух словах, обучения нейронной сети это решения систем нелинейных уравнений, где сами уравнения являются частными производными функциями минимизации
Это единственное видео с нормальным объяснением. Но в формулу можно добавить небольшие дополнения: В итоговую формулу ошибки можно добавить множитель 0.5 для повышения точности. Также стоило бы уточнить ,то на выходном слое производная веса от общей ошибки
Спасибо за труд. Но как-то непривычно слышать вместо "игрек" "уай"
Neurones that wire together, fire together
Базировано
Жду еще видео по нейронным сетям
@1Hanch
3 жыл бұрын
В оригинальном канале с которого делался перевод больше по нейронным сетям видео нет
Это бесценно !!! Внимайте глупцы )
7:18 "возмем k как индекс слоя L-1" - в такой формулировке мозги начинают сильно плавиться, потому как k это все таки индекс нейрона (а точнее - активации нейрона) в слое L-1 а не индекс слоя L-1. Тоже касается и индекса j. Вцелом - это самое понятное видео из всех доступных в интернете. Но некоторые моменты с формулировками достаточно сильно спотыкают в понимании.
найдя ошибки, как понять на сколько корректировать веса?
Несколько раз поймал себя на мысли что переводчик далек от математики.
Не знаю как все, но до этой части, было все понятно. Тут как пошли формулы, дичь какая то :)
8:34 - а как мы определяем target нодов слоя L-1? Ну, для получения значения ошибки нужно знать к чему нужно стремиться.
@AleckBoronnikov
3 жыл бұрын
Нас не сколько интересуют целевые значения нейронов L-1 слоя, сколько их ошибки, т.е. отклонения нейронов от целевого значения. Эти отклонения по сути являются значениями частных производных функции ошибок сети (Cost) по выходам нейронов предыдущего слоя. Как вычислить частные производные рассказано в этом видео. Но изложенная методика также позволяет вычислить частные производные по каждому из весов, даже не вычисляя явно ошибки нейронов слоя L-1. Для этого: 1. Представляем функцию ошибок, как функцию весов последнего слоя (L). 2. Затем по цепному правилу вычисляем частные производные по каждому из весов последнего слоя (L) (они нам и нужны) 3. Затем, когда производные по весам вычислены, считаем их константами, а аргументом считаем значения нейронов предыдущего слоя (L-1), которые (как неожиданно) оказываются функциями весов предыдущего слоя (L-1). 4. Математически это выглядит, как удлинившаяся цепочка по правилу дифференцирования сложной функции, но, которая, тем не менее, позволяет теперь нам вычислить частные производные по каждому из весов предыдущего слоя (L-1). Обратите внимание, что для их вычисления нам *не нужно знать в явном виде* ошибки нейронов предыдущего слоя (L-1). Этот процесс можно продолжать до тех пор, пока все частные производные по всем весам не будут вычислены. После этого мы можем делать шаг градиентного спуска.
@user-cn1sd4hg1m
3 жыл бұрын
@@AleckBoronnikov Здравствуйте, я как понял вы неплохо понимаете тему, не могли в пояснить в аглоритмических примерах) с математикой туговато а в алогитмах бы разобрался, я так понимаю в этих 4 видосах более-менее современное представление о нейронных сетях хотелось бы попробовать реализовать что-то на практике
@AleckBoronnikov
3 жыл бұрын
@@user-cn1sd4hg1m а в алгоритмах так же математика ) алгоритм - это последовательность действий. математика - это то, что позволяет описать смысл производимых действий.
@user-cn1sd4hg1m
3 жыл бұрын
@@AleckBoronnikov ну да, это проще чем в формулах
@AleckBoronnikov
3 жыл бұрын
@@user-cn1sd4hg1m ну так, а какой толк в объяснении алгоритма, если весь смысл в математике )
сначала произносите что L это индекс.. потом степень.. повнимательней пожалуйста.. кто так это за чистую монету примет!
@AleckBoronnikov
3 жыл бұрын
трудно переводить то, чего не понимаешь )
@paprikar
2 жыл бұрын
@@AleckBoronnikov не трудно, если ты достаточно понимаешь английский, то сможешь без особых проблем делать качественный перевод. Разве что тут можно было и по смыслу гогадаться, что речь не о степенях идёт, ведь об этом явно сказали.....
Значит, чтобы обучить, нужно просто найти производную, и к весам добавить небольшую коррекцию?
@user-do5dy3ug3x
Жыл бұрын
все верно, постоянная (итеративная) корректировка весов в сторону уменьшения итоговой ошибки.
Ничего не понятно но очень интересно
И вот на 4м видео я посыпался
1:52 - зачем в квадрат возводить? Почему просто не отнять y?
@malex81
2 жыл бұрын
что бы получить положительное число - ошибка не должна быть отрицательной по смыслу. Можно, конечно, взять по модулю, но квадрат лучше дифференцируется.
в чем сила брат? сила в понимании матанализа... пройдут годы, а ты все равно в старой тетради найдешь что-то новое
Мне странно что кто-то может не знать этого, это же самые азы.
на 25 секунде небольшая неточность: "а с индексом Л", а не в степени
@vitok-xd9wq
2 жыл бұрын
Он же сказал, что они являются индексами, только называет их он степенями
все хорошо, но как писали ниже L это просто индекс, а не степень
2:19
Спасибо за перевод (он, честно говоря, мне не нужен - у меня с английским норм, но уверен, кому-то может очень пригодиться!)
Мне кажется, что нейросети гораздо прозаичнее, чем классический ML, где есть свобода выбора моделей и фичинжиринг.
помогите я ничего не понимаю
@user-zy7ui3ix1z
Жыл бұрын
Ничего, я тоже. Но это проходит со временем.
За перевод, конечно, спасибо, но он далеко не идеален. Например, 3b1b не говорит в исходнике "а в степени L", а просто говорит "a L". И такие погрешности встречаются нередко. Не то, чтобы я нашел что-то ещё контретное, мне просто лень, но мне куда понятнее слушать исходник на английском, не родном для меня языке, чем перевод на русском. Это само по себе уже о чём-то говорит. И это касается не только текста - озвучивание тоже можно улучшить. Несколько трудно воспринимать речь диктора, который не знает, как должным образом озвучить текст, на что сделать акцент и тд, ведь это важная составляющая. Если диктор не может понять тему видео - не беда, ведь можно брать за основу то, как говорит автор.
как я понял суть - создать такие математические условия в алгоритме, что бы максимально точно получить ЖЕЛАЕМЫЙ! и заведомо известный результат. Вот это и есть - наука?)
@sanchopansa8956
Жыл бұрын
Да, совершенно верно. Желаемый и заведомо известный результат на обучающее выборке. Если таковая выборка достаточно полна, то нейросеть обучится правильно, и сможет давать верные результаты в тех случаях, с которыми не была знакома. Это и есть наука)
видел видео и понятней по нейросетям. автор сильно погряз в математической закостенелости и не может осознать, что если называть каждую переменную 3 символами, то не удивительно, что ничего не будет понятно. легче было бы дать полные имена каждой переменной, как это принято в программировании
Зачем так долго объяснять то что нужно взять производную от сложной функции??
высосоно из пальца, столько буков лишних) наверное специально чтобы народ думал что это сложно