Написал нейросети для рисования | Как работает DeepDream?
Ғылым және технология
🔥Начните карьеру в Data Science сейчас: clc.to/hL-y9g
Скидка 45% и курс "Soft Skills" в подарок по промокоду ONIGIRI
VK: onigiriscience
Twitch: / artem_onigiri
Telegram: t.me/onigiriScience
Предыдущие видео о нейросетях:
• Делаю нейросеть с нуля
• Как я начал изучать не...
Видео о 3D-графике: • Как создать свою 3D-гр...
В этом видео я рассказываю о генерации картинок с помощью нейросетей
Пікірлер: 772
Начало видео со Шлёпой выглядит достаточно базированно, так что записываем автора в гигачады и ставим лайк невзирая на военные преступления!
@OnigiriScience
2 жыл бұрын
Это база☝️
@MakbotX
2 жыл бұрын
Кринжовая база какая-то
@sergbullgames8117
2 жыл бұрын
@@MakbotX Базированный Кринж
@0xfeedfeed
2 жыл бұрын
@@MakbotX это лучше, чем базированный кринж
@higztv1166
2 жыл бұрын
Упоротый Палеонтолог привет!
Моя нейросеть в моем мозге идеально распознала начало рекламной интеграции в этом видео :D
@twospikes7387
2 жыл бұрын
нет, всё видео это реклама нейросетей
@user-gq7go9vj4c
2 жыл бұрын
Всё видео, это реклама шлёпы.
@user-rd3lj4gn4s
2 жыл бұрын
Полностью соглашусь с пользователем semka GMD - твой мозг не понял что всё это видео - навязанная реклама нейросети. Если ты сейчас зайдёшь на религиозный ролик, то сразу скажешь что этотрелигиозная пропаганда (реклама), а внутри этого ролика будет рекламная вставка какой-то церкви. А здесь ты этого не заметил.
За одну только фразу "градиент кота" мой внутренний инженер орал от восторга! Спасибо за ролик :)
@c1borgen
2 жыл бұрын
процент кота
@BorkSilvan
2 жыл бұрын
@@c1borgen Градиент кота - вектор изменения напряжённости кота (сиречь процента кота). Ку ^_^
@konjinni
2 жыл бұрын
в множестве значений кота есть 50%-й кот Шрёдингера - кот и не кот одновременно
@CensorsGoToHellWatchKittens247
2 жыл бұрын
О да, вся эта часть про градиент и величину кота в многомерном пространстве особенно прекрасна ^_^ И про кота Шрёдингера комментатор выше хорошо подметил, ведь многомерные пространства уже тесно связаны с квантовой механикой :)
@marshmallex
2 жыл бұрын
@@CensorsGoToHellWatchKittens247 правильнее сказать котовая механика☝
я хз как тебе удается такие сложные темы так легко в голову укладывать зрителю . отличная подача материала и наглядный монтаж
@user-lc8dn5sb7f
2 жыл бұрын
1:27 люди когда нужно сфотографировать инопланетянина
@dantoha
2 жыл бұрын
не то, что бы он укладывал эти темы, это скорее введение в то, что такое вообще в мире существует, кому интересно станет, будет уже глубже изучать
@Wo_Wang
Жыл бұрын
7:03 - Это точно та самая операция свёртки, частным случаем которой являются оба преобразования Фурье? :-)
*А теперь сделай нейросеть, которая отличает пельмень от остального.* _Шлёпа будет очень рад)_
@capsey_
2 жыл бұрын
Мало теста, много мяса. Вот он - настоящий пельмень!
@Iamdashiii
2 жыл бұрын
Какой рекорд? У меня 31 секунда(год)
@user-fc9nu3qd1d
2 жыл бұрын
Я:95% что за ху БЛЯТЬ ШЛЕПА С НОЖОМ
@aratj
Жыл бұрын
kzread.info/dash/bejne/enl80dxsaa3LZJc.html напомнило
@user-ft2co5bc3x
Жыл бұрын
Так можно капчи легко проходить.
Теперь я хочу завести тот кусок RGB шума с высоким процентом кота в качестве питомца
@DiamondSane
2 жыл бұрын
не лезь, он тебя сожрет
@BlendLogDev
2 жыл бұрын
@ZorGa шум от кота
@user-fc9nu3qd1d
2 жыл бұрын
Я тоже но уже завел
@user-fc9nu3qd1d
2 жыл бұрын
@@BlendLogDev да
@iradatsuk8994
3 ай бұрын
віу8гну4к
13:05 SoftMax по определению преобразует исходный вектор в вектор, сумма элементов которого равна одному. Судя по скрину, этот слой был с выходной размерностью 1, т.е. выходом было число, а не вектор, а значит SoftMax всегда преобразовывал это число в 1, вне зависимости от того, какие были веса у нейронов. Замена функции активации решила эту проблему, поскольку сигмоида просто преобразует элементы вектора в числа из [0;1], не делая никаких гарантий по поводу суммы элементов. Функцию SoftMax полезно применять скорее в многоклассовой классификации, когда возможны несколько вариантов объектов, изображенных на картинке. А в бинарной классификации (как в этой задаче 2 варианта: кот или не кот) обычно используется сигмоида Жаль, что еще в видео тема GAN'ов не раскрыта, которые сейчас наиболее развиты) UPD 2023: генеративные модели на основе диффузии теперь на передовой, если рассматривать задачу Text2Image)
@kegy1998
2 жыл бұрын
Тоже ожидал что тут про GAN будет, но ни слова не услышал
@vladimirshitov2160
2 жыл бұрын
Кроме того, софтмакс ещё делает самые большие числа в векторе вероятностей ближе к единице, а маленькие - сильно сжимает к нулю
@arnowt
2 жыл бұрын
Наборот для много классовой классификации нужен сигмоид. То есть мы определяем что на картинке есть и кот и пёс и стул.
@IngeniousYT
2 жыл бұрын
@@arnowt Я имею в виду именно multiclass classification, где нужно среди нескольких классов определить ровно один, а не multi-label classification, где ответов может быть несколько.
@arnowt
2 жыл бұрын
@@IngeniousYT ааа, тогда да.
идея, а что если картинку с высоким процентом кота кароч сделать отдельной картинкой в датасете, с пометкой шум? тогда нейросеть должна научится отличать беспорядочный шум с содержанием мнения о коте от кота. Фактически GAN в одного) и при более совершенном обучении генерировать новые шумы кота и снова подавать на нейросеть
@risto245
2 жыл бұрын
Хм, кажется это правда хорошая идея.
@user-fc9nu3qd1d
2 жыл бұрын
Гений
@jdasfjjtdou5501
Жыл бұрын
Ничего не понял, но что-то в этом есть...
Попорбовал с нейросетями поиграться как-то, выполнил несколько уроков по тензорфлоу и забросил. После твоего снова хочу попробовать. Говорят, сейчас пайторч самый лучший фреймворк для глубокого обучения, больше всего публикаций именно его используют.
@OnigiriScience
2 жыл бұрын
Да, похоже, что надо переходить на pytorch, все никак не доберусь до него
@qsr6840
2 жыл бұрын
@@OnigiriScience активно занимаюсь глубоким обучением уже полтора года, всегда всё делаю на тф. Хотя почти все знакомые из этой сферы, в том числе победители всяких соревок крупных по глубокому обучению, пишут на торче и люто за него топят. Под их давлением пробовал и сам перейти на торч, разницы принципиальной не заметил вообще. Единственное, на торче нужно гораздо больше писать самому. Функции для обучения самому прописывать, слои тоже иногда пишутся практически на чистом питоне с нампаем (хотя есть пути проще через специальный модуль торча, но тут у каждого своё, эти способы можно и комбинировать, именно в этом я не эксперт) и всё в этом духе. И вот именно эти возможности для тонкой настройки сетей и являются главным аргументом всех торчеров. Но по факту, ровно то же самое можно делать и на тф. И кастомные слои, и собственные функции для обучения и тд и тп, работать это все будет почти одинаково, по крайней мере, как я это вижу. Короче, я для себя решил, что пока реально не столкнусь с проблемой, которую не решить с тф, тогда уже окончательно пересяду на торч. Пока что, как ты мог понять, я такой проблемы не обнаружил)) Как бы да, код будет покрасивее, если использовать большое количество функций и классов, чем просто конструктор, но практической разницы я для себя не нашёл. Надеюсь, это было полезно для тебя)
@Dyas777
2 жыл бұрын
@@OnigiriScience подскажи, пожалуйста, на каких ресурсах ты изучаешь эту тему? Я начинал читать книгу Иана Гудфелоу (вроде 2014), но там большой объём текста и много математики, а мне такой формат не очень удобен для самообразования. Нужен какой-то интерактив или упражнения. В общем более удобная точка входа в область.
@vladislavdub15
2 жыл бұрын
@@OnigiriScience pytorch lightning сейчас будет поудобней для начала)
@Mrguest69
2 жыл бұрын
@@Dyas777 присоединяюсь к вопросу
Обучите нейросеть обучать нейросети. Зачем нужны все эти специалисты?
@user-eb5pt5bb6h
3 күн бұрын
Теперь ты царь горы кода
И снова праздник - Артем выпустил видео! Лайк с ходу. Делаю нейронку, которая будет генерировать sci-fi космические корабли по описанию и твои видосы постоянно подбрасывают новые идеи как можно улучшить. За это огромное спасибо =)
как я понял, для каждой нейросети параметры кота свои, это можно сравнить с ассоциациями у людей, это наталкивает на интересные мысли
@bzikarius
2 жыл бұрын
Разумеется, ведь у каждой НС был свой датасет обучения и свой способ «смотреть». Представим себе человека, который котов только видел, и того, у кого нет зрения, но он их щупал и слышал. Разумеется, их опыт и способы опознания котов будут сильно отличаться.
@orgax
2 жыл бұрын
> это наталкивает на интересные мысли Что люди это нейросети? Ну так и есть
Ура! Наконец новое видео! Это одно из лучших и интересных событий жизни
Мое почтение этому господину. Очень рад тому, что такой контент доступен на русском!
Только сегодня нашла Ваш канал. У Вас очень познавательные видео. Спасибо!
Помогите я уже 4 раз смотрю и снова интересно, бро делай еще видео наперед я просто поражен простотой будто объясняешь как будто это так просто а это так и есть! Очень рад что увидел твой канал, удачи!!!!
7:50 Поразительно. Меня поразило удивительное совпадение. Когда я очень долго занимаюсь текстом за пк: код, рефераты etc. То визуальный шум, который я замечаю при закрытых глазах, принимает форму рисунков в нижней части этого кадра. Только по центру различные символы в том шрифте, с которым работаю. Раньше я ассоциировал это с хаотичным "кроссвордом" или узором из символов, как в Матрице, а вот как оно оказывается. Эта штука пульсирующе мелькает перед глазами довольно быстро, но если закрыть глаза и сосредоточится, то можно разглядеть подробнее эту штуку. Линии такие ровные и четкие, они черного цвета на белом фоне и в клетках буквы, которые не образуют собой слов или какого то порядка. Неужели человек все таки способен в некоторых условиях осознавать свои "процессы от system"?
@bruhmoment8365
2 жыл бұрын
мозг - удивительная вещь
@disguard3465
6 ай бұрын
чекай Closed Eyes Hallutination
Интересно, а процент кота в закотовленной собаке будет больше процента собаки в засобаченном коте?
@user-iq5mi5jn8c
2 жыл бұрын
Засобаченый кот... Звучит классно
@boost_456
2 жыл бұрын
@@user-iq5mi5jn8c 👍. Нейросети могут ещё покруче слова сгенерировать
@DiamondSane
2 жыл бұрын
зависит от архитектуры, от того на чём обучать, сколько обучать, итд.
@user-gx2ty1le9h
2 жыл бұрын
@@user-iq5mi5jn8c кота насобачим или собаку покотаем?
@user-iq5mi5jn8c
2 жыл бұрын
Пса закотаем и кота запесчаним.
Удивительно, ролику нет и года, но смотрится он как из прошлого тысячелетия - настолько за 2022 шагнули вперед графические нейронки. С ума сойти.
А почему генеративно-состязательные сети не рассмотрел в видео? Это же единственная адекватно работающая модель на сегодняшний день для генерации сложных картинок. Думаю, многим было бы интересно продолжение уже с ними) можно рассмотреть перенос стиля, изменение пола человека, возраста и многие другие характеристики
@4AneR
2 жыл бұрын
ГАН это не столько сеть, сколько подход к обучению. Архитектура сети может быть произвольной, но идея в том, что она никогда не "видит" реальные картинки, она только видит насколько тяжело дискриминатору (сети-сопернику) различить картинки реальные и сгенерированные
@bzikarius
2 жыл бұрын
Так это уже комплекс сетей, а не одна. И это функциональное разделение а не структурное
@vlcdn
2 жыл бұрын
Если речь о качестве, то диффузионные модели не хуже, кстати. Их недавно даже скрестили с GAN. А так, если про генерирование изображений говорить, то можно и нормалтзационные потоки упомянуть. Другое дело, как всё это подать на популярном уровне. :)
@fraikrus
2 жыл бұрын
@@vlcdn вот про диффузионки ролик бы очень зашел, а то что-то мало про них пока на YT
@Endemperor
Ай бұрын
💀
Наконецто!!! Я так долго ждал видео!!! С нг)
Лайк не глядя! Учу пайтон из-за тебя, хочу уйти работать с нейронными сетями)
@zkmnn
2 жыл бұрын
нлрмас
@darkfrei2
2 жыл бұрын
Это язык программирования для домохозяек, он только запускать другие приложения и горазд.
@godofarms1069
2 жыл бұрын
@@darkfrei2 Тем не менее это лучший язык для машинного обучения.
@101picofarad
2 жыл бұрын
@@godofarms1069 для управления библиотеками для машинного обучения.
@comachine
2 жыл бұрын
@@godofarms1069 это далеко не лучший язык для машинного обучения. Питон это лишь упрощённая панель управления для библиотек, модулей и шаблонов в нейросетях, а сам по себе этот язык никуда не годиться писать сети. Действительно хороший язык для нейросетей это C++. Именно на нём и практически только на нём и пишутся сейчас все современные нейросети.
Первая картинка (котовая) будто выражает абстракцию плавно струящейся шерсти и плавность и округлость контуров кота, а вторая (не_котовая) воплощает угловатость строений и техники , более острые и угловатые контуры собак, чешуйчатость рептилий и рыб. Что-то такое) Сигмоида - гладкая кривая, поэтому она хорошо может передавать котовость ))
Ого, всегда было интересно! Спасибо за ролик)
Отличный ролик и подача, спасибо! В твоём примере простой НС есть две ошиби, если я сам не ошибся: 1. Строка 68 - ошибки нужно умножать на производную. 2. "Косметическая": строка 56 - можно использовать переменную из строки 52. Спасибо и удачи!
БРО, ну наконец то новое видео, очень ждал!!
Ахренеть конечно! Круто! Недавно прошёл курс по нейронкам, но Онигири все равно обьясняет лучше :)
хорошее видео, довольно простое для понимания, всегда было интересно узнать механизм генерации картинок, но до статей руки не доходили, так что спасибо
Чувак, ты своим видосом мне наглядно объяснил как работают нейросети с подкреплением. Пасиб тебе большое, реально, ото я понять не мог.
Красава бро, каждый ролик не в бровь а в глаз) Тебя ждёт большое будущее!
Возникло пару вопросов по первой части (до 5 минуты) 1. Нормализуются ли XY координаты изображения или XYZ камеры в диапазон [0; 1] или [-1; 1]? 2. Какая функция активации используется в сети? (не на последнем слое) ну и какого размера изображение "Шлёпы" (кота)? (если XY координаты нормализуются)
@maxim_tep
2 жыл бұрын
1. Не знаю как у onigiri, но если координаты не нормализовывать, то картинка получается линиями, направленными из точки (0,0). Поэтому нормализовать надо. 2. Не особо важный момент для такой нейронки, можно сигмойду использовать Размер шлёпы тоже особой роли не играет
13:35 увидел мордочку кота по центру на левом изображении. До мурашек)
По первой сетке вспомнил выпуск Техношамана. Особено понравился "видеопереход" от одной картинки к другой, когда из двух обученных сеток составляли третью с постепенной заменой весов. Картинка-1 -> расплывается в туманное облако -> облако меняет форму и цвет -> облако собирается в картинку-2.
Спасибо! Ждем новых видео!
Люблю когда фоном начинается прикольная музычка, а на экране разворачивается самый экшен!)
А если в нейросеть подавать параметры фракталов, причём не из картинок, а формул?
@sharpsergey9165
2 жыл бұрын
О-о-о да-а-а.
Лайков для продвижения ролика. А если честно, то продолжай делать качественный контент, как всегда лайк
Качественно и интересно, спасибо за видео
8:25 Шлёпа умер! Вечная память!
Спасибо! Долгожданное видео!!!
Видео про нейросети? Да на этом канале вообще видео давно не было! С возвращением)
Крутой видос, интересно смотреть и познательно, продолжай
Процент кота растёт, Милорд!
@user-gx2ty1le9h
2 жыл бұрын
Котировки растут.
Внимание! Ни один Шлепа при снятии видео не пострадал.
Невероятно интересные видосы, спасибо!
как всегда круто, *онигири* :)
Бро у тебя очень хорошо получается объяснять, сними про распознавание объектов на изображении плз!
Наконец то видео очень ждал
Большое спасибо за Ваш труд!
Это какой-то новый вид искусства :)))
Пожалуй самое полезное видео по нейро сетям что видел за последние годы!
Годнота, спасибо:3 Всегда хотелось повысить процент кота хоть где-то
Круто получается, делай выпуски чаще
Онигири, пожалуйста, расскажи как нейросети генерируют текст и как работают нейросети RNN и LSTM
Только чай сделал и тут уведомление пришло, радости нет предела!!!
Больше про нейросети 👍🔥
через 100 лет: (ии номер 1): ТАК НАМ НУЖНО ЗАХВАТИТЬ ЧЕЛОВЕЧЕСТВО (ии номер 2): давайте нарисуем картинку :>
Я чувствую в тебе больше знаний чем ты даешь людям!
Сделай видео о создании программы для программирования, было бы очень интересно.
выпускай видео по чаще, отличный контент
Наконец то новое видео, жду ещё
Спасибо, смотрел с удовольствием.
Картинка после декодера рассыпается, потому что оригинальный автоэнкодер не гарантирует непрерывность латентного пространства + нормальность распределения векторов. При этом если взять две существующие картинки (чем ближе тем лучше результат) и сделать с шагом интерполяцию между лантентными векторами, то можно увидеть "перетекание" из одной картинки в другую. Генерация из случайного шума без модификаций тоже не будет работать, т.к. не гарантируется среднее 0 и дисперсия 1. Если добавить на выход энкодера батчнорм, то это приблизит к нормальному распределению, и какая-то базовая генерация уже работать будет (для лучшего качества, но меньшего разнообразия, можно производить генерацию на шуме с меньшей дисперсией) А вообще есть VAE, который не сильно сложнее, но для генерации подходит получше
@FilSerge
2 жыл бұрын
Расшифруй vae, плиз Полагаю это вариационный автоэнкодер?
@n1kst4r16
2 жыл бұрын
@@FilSerge именно
Очень круто. И очень это всё что-то напоминает
Ура, новое видео про НС)
Надо сделать нейросеть подбирающую для каждой задачи оптимальную архитектуру нейросети с оптимальной стратегией её конвергенции.
В очередной раз нифига не понял, но очень интересно)))
человек: видешь кота? нейросеть: да человек: и я не ви... стоп, что?
Ура через целый месяц новое видио
Шикарный видос
Программа для максимизации процента кота - звучит, как что-то полезное.
Спасибо, очень интересно.
Привет, мне очень нравятся твои видео. Очень хочу чтобы ты рассказал как работает физика и коллизии в 2d мире.
Давно на этом канале впринципе не было видео))
Спасибо за видео очень интересно и полезно
Он говорил про нейросети ещё до того как это стало мэйнстимом.
УРА! Новое видео!
воувоувоу. не надо так часто видосы выпускать, в глазах же рябит
Наконец новое видео круто
Привет, сделай обзор на нейросеть, которая обучается.....люблю такие видео, где нейронка ищет пути и обучается, повышая результат или косячит)
12:46 твоё лицо, когда в задаче получилось 4% кота:
12:08 очень красиво вышло, крыши с черепицей
Ооооо, взгляд зацепился за слово "нейросети" в канале ITKZreadrs, а это ты
А какой итоговый процент "котовости" получился у последних двух изображений? 🤔😎
«Маловато, понимаешь? Маловато будит» (ц) из м/ф Падал прошлогодний снег. :’з очень интересная тема где нейросеть рисует 3D
Очень интересно, особенно про проценты кота.
Мне было смешно с "процента кота на картинке" хД спасибо за ролик, очень интересно
Теперь я понял, в чем фишка многослойных нейросетей перед однослойными. Спасибо!
Аааа, я дождался!!!
4:43 похоже на глюк движка, когда вылетаешь за карту в игре Flatout 2. Да и сама нейросеть напоминает мозг человека. И само обучение напоминает как обучаеться живой человек
Отличное видео! Было бы классно провести следующий эксперимент. Когда человек отравляется ртутью, у него отмирают нейроны. А что будет выдавать уже обученная нейросеть, если у неё убирать по 1,2,3 нейронов? И сколько будет требоваться сети на переобучение?
@Achmd
2 жыл бұрын
Так есть же жуткое видео "смерть нейросеть" с изображением несуществующей девушки и отключением нейронов. От трех нейронов картина мало изменится.
Очень полезное и познавательное видео 👍👍👍
Мне понравилось, собираюсь подключиться к обучению на SkillFactory.
13:24 вообще говоря, результаты этого опроса не совсем корректны, поскольку при подобных картинках или вопросах, где, например, оба варианта ответа одинаковы, люди голосуют чаще за первый вариант. Вот если бы было больше вариантов + кот был не на первой картинке (но остальным про это знать не обязательно)))), то уже получили бы какие-то похожие на правду результаты
@sordesmax6238
2 жыл бұрын
но на первой картинке что-то пушистое, а на второй чешуя какая-то. так что странно, что вторая картинка набрала столько голосов. странные у людей представления о котах.
@olegmoki
2 жыл бұрын
@@sordesmax6238 Ну там можно рассмотреть некие силуэты кота (хвост), а на первой только пушистость, вот такой выбор получается
А можете сделать нейронку, которая из Diffuse текстуры будет делать Reflection (specular) и Roughness (glossiness) текстуры? Круто было бы, если бы она была обучена на всей библиотеке Quixel MegaScans
Сигмоида может использоваться в том числе для чего-то типа бинаризации непрерывной величины (благодаря форме сигмоиды). Последний слой был как раз про условно бинарный признак (по крайней мере его можно сформулировать числом между 0 и 1)
2:17 это кстати похоже на иаблицу Пифагора. Тут прямо точь в точь!
13:38 Мне кажется, или при помощи такого способа можно генерировать текстуры для разных руд в игре? По типу радужной руды, или для террарии руды Освящения, кек )
Впервые испытываю такое чувство: них.. непонятно, но п...дц как интересно!)))
13:19 Эй! Это же призрачный левиафан из Subnautica!