Любой стиль без промта | IP-Adapter Stable Diffusion
В этом видео разбираю практические применения новой функции нейросети Stable Diffusion: IP-Adapter. Благодаря ей можно задавать стиль генерации, используя любую картинку вместо промта. Только представьте, сколько всего с этим можно сделать!
Установка Stable Diffusion: • Stable Diffusion Porta...
IP-Adapter: huggingface.co/h94/IP-Adapter...
Телеграм-канал студии ITSALIVE - t.me/itsalive_live
Телеграм-канал школы - t.me/itscool_blog
Таймкоды:
0:00 Вступление
0:48 Установка
02:02 Генерация по картинке
03:38 Замена деталей на портретах
05:36 Логотип в любом стиле
07:10 Арт с объемными буквами
08:49 Стилизация фото
09:43 Постер Mortal Kombat
11:30 Постер в стиле 80-х
12:50 Лицо знаменитости в любом стиле
13:40 Заключение
Пікірлер: 371
Спасибо большое!!!! Неделю разбираюсь почему не работает IP-Adapter!!! Не кто из "великих умов" на ютубе не сказал что нужно переименовать расширение из "bin" в "pth"!!!!!!!!!!!! И в инструкции по установке, на хагинфейс, я этого тоже не заметил!!!!! Чуть комп не разбил, 100 раз все снес и переустановил!!!! А тут такое простое решение, и все заработало!!!!!!!!! СПАСИБО!!!!!!
Спасибо за классное расширение!!!! И за детальный разбор.
Очень упрощяет процесс, спасибо!
Спасибо большое за видео, как раз искал возможность экспериментировать со стилями нишевых художников, токенов которых нет в общей модели
Спасибо, крутейшее видео по Stable Diffusion
Классное видео и информация! Спасибо что поделился!
Огромная благодарность за подробный гайд! )
Очень круто, спасибо, Сайтама
Очень круто, спасибо за ценную информацию
Обалдеть! Спасибо за крутой рабочий инструмент!)
Это очень круто! Кирилл, спасибо, что поделился
Топовый разбор! Спасибо, что поделился
Это бомбически здорово!!! Спасибо!!!
Это именно то, что я искал! Огромное спасибо!
Супер! Про то что не заменят, уже заменяют. Вовсю поступают заказы на генерацию изображений и не только.
Ввввввау! Вот это то, чего не хватало)) Большущее спасибо!
Супер. Благодарю!
Круто в умелых руках! Спасибо за видос!
Шикарно! Лайк и подписка) Жаль, что очень высокие требования к железу для такой забавы...
Это просто безумие! Как же он хорош!
Огонь, надо тоже затестить)
Охренеть! Сколько я спала! Юзаю стейбл бог знает сколько, и только сейчас узнала об этой штуке! СПАСИБИЩЕЕЕЕЕ тебе добрый человек!
Это капец как круто!
Огромное спасибо за то, что поделились! Очень понятно объясняете! Всё по делу:)
Спасибо, братик. До этого смотрел запутанный тутор на английском, где используется SDXL и карта 4090, в итоге нифига не понятно было 😃
спасибо, очень полезно
Большущее спасибо тебе за демонстрацию и усердный монтаж с подрезкой всех пауз и воды. Сам монтирую, знаю, насколько это запара. Под конец ты забыл отключить Depth, возможно это портило результат. Вообще автогенерация карты глубины препроцессором работает довольно слабо, особенно на генеративных картинках или рисованных с условным светом. Я смотрел результаты в 3д. Это скорее похоже на сегментирование плашек по глубине сцены. То есть хорошо для плановости и подсказки, но плохо для построения света/формы Вот для стилизации крупных объектов с контурами или картой глубины реально хорошо работает. Правда я пересел на Comfy UI, но разберусь.
@itsalive.studio
4 ай бұрын
Наконец кто-то оценил обрезку пауз! 🙏 Насчет Depth, если стремиться к идеалу, то да. согласен. Но в отличие от Open Pose он нравится тем, что может дать какие-то интересные творческие результаты, или можно с фоном играть, быстро редактируя инпут в фотошопе и загружая его заново в ControlNet.
Круто! Спасибо
Спасибо
Отличный видосий, все четко без воды и с примерами. Люблю смотреть про интересные фичи в СД, побольше бы таки видео.
Просто ультимативная фича. Спасибо огромное!
класс! Спасибо!
Мне нравится что ты рассказываешь с точки зрения дизайнера, как легко применить нейросети в реальных повседневных проектах, когда времени в обрез и нужен 100% быстрый, предсказуемый и адаптивный результат. Спасибо)
Старославянский стиль)) это ар-нуво, Билибин. Очень интересное видео, то что нужно! Не генерировать а вставить уже существующую картинку
@itsalive.studio
7 ай бұрын
Точно, спасибо! Хотя, как известно, стиль Ар-нуво создали старорусы в честь победы над ящерами 😁
@user-ie2kb1vf4s
7 ай бұрын
Славянин, ты ар-нуво знаешь, а своего не знаешь ни грамма.
@lemelissalp
7 ай бұрын
@@user-ie2kb1vf4s …кто здесь?🧐
@itsalive.studio
6 ай бұрын
тогда уж "ни пуда не знаю" 😁@@user-ie2kb1vf4s
@user-ie2kb1vf4s
6 ай бұрын
@@itsalive.studio Отличное замечание! Спасибо!)
Спасибо огромное за такой понятный видео урок! Благодарю!
Молодец!!! Все по делу)
Это что-то невероятное! Те редкие моменты, когда ютуб рекомендует бесценные вещи, применимые в повседневке...Оч крутая штука, уже вовсю играюсь с параметрами) Сразу же лайк, подписка, просмотры 🤩
@user-ys1tj1wq4b
4 ай бұрын
Здравствуте, вы уже пользуетесь этой програмой?
круто, полезно )
При использовании Canny и IP Adapter на 6:16 при генерации выскакивает ошибка TypeError: 'NoneType' object is not subscriptable - как бороться? Повторное нажатие на Generate мне не помогло.
@itsalive.studio
6 ай бұрын
Решается перезагрузкой SD
@xlsak
6 ай бұрын
@@itsalive.studio 3 раза перезагружал, ошибка остаётся.
@user-ee6jd2fr2p
3 ай бұрын
Короче разобрался, надо перейти в режим txt2img, на ролике, после генерации видно, что уже другой режим выбран :)
@TurnToTheLight
3 ай бұрын
@@user-ee6jd2fr2p да, запутал всех )
🩷 инфа пушечка
Подписался, лайк за информацию!
Очень круто! Давно использую ControlNet, но на IP-Adapter не обращал внимания :)
@user-ys1tj1wq4b
4 ай бұрын
Вы уже умеете пользоваться этим адаптером?
@flexxodus
4 ай бұрын
@@user-ys1tj1wq4b Да, научился уже.
А лысый ШАРИТ!))) Спасибо! Подписался!
Наконецто Морген побрился свел тату и занялся нейросетями
@DevilPro-794
6 ай бұрын
Забыл только прическу через SD себе сделать.
Шикарная тема. Правда с лого не заработало. Буду дальше копать
Класс! Благодарочка! Но насколько я знаю есть определенные требования по установке, память должна быть не менее 1ТБ
@itsalive.studio
7 ай бұрын
10 гб достаточно, отслальное уже модели. У меня папка весит 90 гб сейчас
Очень интересно. Можно более подробно касательно установки всего необходимого. Вроде все сделал как у тебя но не хватает вкладок в controlnet/ есть только controlnet unit 0. controlnet unit (IP-Adapter) нету , при generate при любом раскладе выдает какие то ошибки. Сделай пожалуйста все с нуля , всю последовательность , я думаю не один такой нуб который будет тебе благодарен.
@SweetSickFreak
5 ай бұрын
У меня вообще игнорирует изображение(
Респект!!!
Классное видео. Не знал, что Моргенштерн в нейросетях шарит.
great tutorial, i could follow even without understanding your language
@itsalive.studio
7 ай бұрын
Thanks a lot! Hope we'll figure out some automatically generated subtitles next time.
@hairy7653
7 ай бұрын
@@itsalive.studio yeah good idea
Круто🔥, спасибо❤, побежала изучать
Полезно, спасибо!
какая-то магия началась
чётко !
Топ!
привет! есть ли вариант установить портбл SD с нейронкой IP-Adapter на mac os?
в миджорни есть режим микса, но это лучше, так как управляемо
красава просто...
Очень показательно: те, кто продает курсы по рисованию и дизайну "от руки", говорят, что нейросети не заменят вас на работе, а те, кто продает курсы по нейросетям, говорят, что заменят.)
@user-kn9fc9uz1s
6 ай бұрын
Заменят.Просто сократится количество тех, кто рисует от руки, Нужен будет один промпт- инженер и парочка фотошоперов
Спасибо большое за видео! В графе model кроме none ничего нет( Переустановка stable diffusion не помогла. Как быть?
@artemfe6884
4 ай бұрын
если нажать кнопку обновить (справа от окна), они появляются. Но у меня ничего не работает все равно. Он не видит референс вообще почему-то.
Еееу крутейшэнъ 🎉
ip-adapter preprocessor у меня не показывает, почему? Где его взять?
Спасибо за видео! Подскажите, а Вы сознательно не используете Pixel Perfect? Если да, то по какой причине?
@itsalive.studio
5 ай бұрын
Нет, он ничего не дает в плане генерации, иногда жмакаю по привычке
Хорошее видео 👍
Я установил по видео в описании, но там каке-то модели нужны которых нет. Как открыть программу? Она что в браузере открывается?
И это собственно причина, почему Адоб сейчас нагоняет суету по запрету инструментов переноса стиля) Но, конечно, не для своего файрфлай, ведь у них православно, а остальным нельзя)
@itsalive.studio
6 ай бұрын
Мир нейросеток становится все больше похож на продуктовый магазин) технологии всем доступные, но чтобы потребитель "брал" твой товар надо развивать и доказывать экспертизу в одном направлении. Макароны покупаем у одного производителя, а молоко у другого.
Не завелось, к сожалнию. На маке говорит typeError: Trying to convert Float16 to the MPS backend but it does not have support for that dtype.
Спасибо за урок! Мощный инструмент! Что делать если depth не срабатывает? Canny работает отлично
@itsalive.studio
6 ай бұрын
depth больше по обьемам, canny по контурам
Привет! не подскажешь, есть ли сейчас аи, которые могут добавлять объекты в видео чтоб это выглядело не как фотошоп? ну то есть если допустим, лежит какая-то вещь, и если на неё что-то наложить будет видно что не естественно выглядит... было бы круто как-то наложить бутылку/кружку или другой объект, чтоб оно выглядело походу видео как будто оно там изначально было
@itsalive.studio
6 ай бұрын
Из ближайшего есть Wonder dynamics, там можно персонажей добавлять или менять человека на персонажа
Так он же и раньше был, была модель Reference, я ей ещё в августе пользовался
@itsalive.studio
7 ай бұрын
Про неё тоже есть видео, совсем не тот результат(
Магия)
Здравствуйте! В имг имг в вашей версии отображается изображение у контрол нета. В версии которой я работаю, изображения контрол нета не отображаются в инпайнте и имг имг, как вы думаете это связано с версией или есть какие то настройки контрол нета?
@TurnToTheLight
3 ай бұрын
галочку надо нажать Upload independent control image
Чётко, внатуре могёте!
Странно, на гитхабе написано что модели надо кидать в "stable-diffusion-webui\extensions\sd-webui-controlnet\models"...
Привет! Есть вопрос про скорость работы с IP adapter. При одинаковых настройках и промте, при включении этой опции рендер замедляется в 10 раз. Работаю на 4070ti. В чем может быть проблема? Заранее спасибо.
А где взять ваши модели для depth? Depth midas есть, но моделей таких нет.
@itsalive.studio
4 ай бұрын
Они сами должны подгрузиться при первом запуске препроцессора, либо в ручную через GitHub скачать huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
Спасибо 🙏 очень круто 👍🏻 интересно на амд проце с нативной графикой это будет работать?
@itsalive.studio
6 ай бұрын
пишут что только на самых мощных поддерживается
а еще быстрей можно мышкой бегать? Тогда совсем здорово будет для понимания
к сожалению, зависит видимо от чекпойнтов: некоторые вообще нисколько не подхватывают стиль, а смешивают картинки с КН ... В ряде случаев промт приходится прописывать. Также нередко приходится снижать вес воздействия модели. Но за обзор огромное спасибо! вы мне дали новое знание наглядно, побудили к практике! Нужно ли скачивать все 4 модели адаптера (в т.ч. лайт) или достаточно лишь плюсовые? я поставил только плюсовые (фейс и не фейсовую)
@itsalive.studio
7 ай бұрын
Конечно есть нюансы) Но как только Adapter "цепляет" то, что тебе нужно, дальше уже дело техники. Гораздо меньше рандома и энтропии получается. Модель Light вообще не использовал, остальные в разных ситуациях хорошо себя показывают.
@aprichnik1044
6 ай бұрын
да это же кликбейт на новичков, промт всегда нужен, иначе чаще всего невнятное что-то получится или то, что не нужно
@itsalive.studio
6 ай бұрын
Кликбейт для новичков - это если бы я написал "стиль без промта" и предлагал для этого использовать микс мод в миджорни)@@aprichnik1044
Я бы немного поправил. 1. Не появляется "желанный IP-Adapter" он там и так есть после установки ControlNet, а появляются дополнительные модели IP-Adapter. 2. Я например в версии AUTOMATIC1111 ничего не переименовывал в ".pth" закидывал в ".bin" и всё принимает 3. На день 08-01-2024 при скачивании моделей IP-Adapter, они есть и в ".bin" и в ".safetensors" У меня принимает в обоих видах. Переименовывать не пришлось. И ещё вопрос: Для кого эти видео, что так спешите быстро рассказать?
Лайк и подписка. Просто охеренно!
А почему по ссылке есть файлы safetensors это они для чего?
Хотелось бы посмотреть ролик где можно вписать лицо со своей фотографии в другую картинку. Это возможно с IP-adapter?
@itsalive.studio
7 ай бұрын
Для этого есть штука под названием "roop", но не у всех она запускается)
😍
а на мак ставиться стейбл?
Расскажи пожалуйста, как дела обстоят на Маке? Можно ли запустить SD не через DiffusionBee. И можно ли через DiffusionBee подключить ip-adapter? или без винды все же никуда? )
@itsalive.studio
6 ай бұрын
На маке своя отдельная история, не копал в неё пока что
@Himynameis1057
6 ай бұрын
в целом все так же, гуглите Installation on Apple Silicon
Ооочень быстрый скролл, очень трудно засечь все настройки. На примере с встраиванием логотипа в бг с большими трудами на стопкадрах выставил все настройки, в итоге при генерации выдает TypeError: 'NoneType' object is not subscriptable (((
@user-ee6jd2fr2p
3 ай бұрын
Короче разобрался, надо перейти в режим txt2img, на ролике, после генерации видно, что уже другой режим выбран :)
Как установить ip adapte? Только скачать 4 модели и все или, что-то еще нужно сделать? Потому как выдает все время ошибку p.s. В-общем установил все с нуля и все заработало! Спасибо за видео.
делаю все по инструкции, но в момент когда надо сделать одну картинку в depth а другую в ip adapter - ничего не работает(( в модели depth пусто, препроцессор depth_midas, а в модели только ip adapter, хотя у вас в видео стоит тоже какой-то depth. что делать в этой ситуации?
@dennisstaf2170
6 ай бұрын
нажми справа модели обновить кружочек
Подскажите, почему может показывать ошибку "AttributeError: module 'torch.nn.functional' has no attribute 'scaled_dot_product_attention'" при использовании адаптера?
@itsalive.studio
7 ай бұрын
добавьте "pip install --upgrade torch" в файле запуска
@Leroyserj-163
7 ай бұрын
@@itsalive.studio у меня также. не помогает
@itsalive.studio
6 ай бұрын
сам не лечил такую ошибку, поэтому могу посоветовать только рыть гугл, полюбому такое уже бывало и не раз @@Leroyserj-163
Спасибо за туториал еще раз - но не удается все организовать через колаб. Вроде бы контролнет есть, а вот айпи никак установить не выходит. Подскажи, может знаешь решение?
@itsalive.studio
7 ай бұрын
За колаб не отвечу, сто процентов есть туториалы на эту тему, но я тестил только на автоматике
спасибо ,скрольте медленней плиз не все настройки при такой скорости видны ,даже стоп кадр не помогает-) просто не всегда вроде бы явные настройки возможно подобрать самому,что-бы добиться такого-же результата ,слишком много настроек не явных
Спасибо, это самое то, что мне надо! Осталось только установить SD...буду признателен, если подскажете...у меня ноут оперативка 16 гб ssd 512 гб видеокарта nvidia...я могу только Portable SD поставить или у Христа в первом видео другой SD какой лучше у меня пойдёт?
@itsalive.studio
7 ай бұрын
Зависит от того какая видеокарта, но скорее всего больше 2гб и пойдет обычная сборка от Христа
Прекрасный обзор! Спасибо! Но на 06:17 -TypeError: 'NoneType' object is not subscriptable Time taken: 0.1 sec. - как победили?
@nastasiastudennikova7672
3 ай бұрын
Перезагрузкой и переходом в другую вкладку - не решается!(
Интересно, но у меня не получилось - не увидел Контролнет препроцессора к модели. Может у меня Контролнет поломался хотя другие модели работают
@KirillLovesMona
7 ай бұрын
Мб controlNet старая версия
@user-qy7pd1qi8o
7 ай бұрын
@@KirillLovesMona 1.1 версия. Может это под SDXL? и на 1.5 не работает?
@itsalive.studio
7 ай бұрын
В начале нужно подождать пока 2,5 гб clip view препроцессор скачается, в консоле можно посмотреть как он подгружается@@user-qy7pd1qi8o
3:00 - Круто! Но какой в этом практический смысл? Качество генераций всё равно ведь непотребное.
Установил точно также, но в списке моделей нет canny, depth и остальных. Т.е. если ставлю препроцессор Canny, то и модель должна быть соответственно Canny, не? На видео именно так, но в списке моделей их нет. Их нужно отдельно устанавливать?
@itsalive.studio
6 ай бұрын
да, они должны автоматом скачаться и установиться, когда первый раз их активируешь.
@user-pi5tz7or9n
6 ай бұрын
@@itsalive.studio у меня почему-то не так. Установил, скачал те модели по ссылке, перезапустил, плагин работает, но только с ip-adapter plus face, просто plus, light и ещё одна модель (буквы не помню, их 3). Нашёл версию ControlNet 1.1 на huggingface, есть там все эти модели, сейчас скачаю, попробую запустить.
@itsalive.studio
6 ай бұрын
надо ещё контрол нет обновить до последней версии@@user-pi5tz7or9n
@user-pi5tz7or9n
6 ай бұрын
@@itsalive.studio а как? Я нуб ещё. Ставил его по твоему ролику. Запиши ролик? Для контента фишки можно аудитории объяснить.
@itsalive.studio
6 ай бұрын
Переходишь в extensions, там кнопка "check for updates"@@user-pi5tz7or9n
Эй ты красаучик!!!!
Нужна помощь, вроде все норм установил, фотки завидую, а он мне какие-то решётки рисует ( хрен поймеш что
А в чем преимущество перед модулем ControlNet Reference? По моим наблюдениям, Reference лучше работает - выдает более консистентный результат, более близкий к референсу. Но, правда, я пробовал IP адаптер на модели SD1.5, не на фотоне.
@itsalive.studio
6 ай бұрын
У меня кардинально противоположная картина, референс только чуть чуть ухватывает стиль, и то, только с тем же промтом. И да, лучше сравнивать на кастомных чекпоинтах.
@dmitrybaltin6612
6 ай бұрын
@@itsalive.studio Спасибо, попробую