Photo styling in Automatic1111 | InstantID and IP-Adapter
In this video you will learn how to stylize photographs in any style: from oil paints to comics or photorealistic styles. The faces from the portraits remain clearly recognizable. In this video we will analyze the technique in the Automatic 1111 interface, and Boosty has already posted a large and detailed video for implementing this process in ComfyUI.
Menu:
00:00 - Introduction
02:01 - What is InstantID and ip-adapter
04:55 - Setting InstantId to automatic1111
07:44 - Settings in automatic 1111 for styling
17:35 - Epilogue
Link to InstantID developer page: github.com/Mikubill/sd-webui-...
🔑 Scheme for ComfyUi and all links to Boosty:
🍀 boosty.to/stabledif
🔥 My structured course on "AUTOMATIC 1111" with my support on the website stabledif.ru
✔️Telegram channel: t.me/stabledif_lesson
✔️ Telegram CHAT: t.me/stable_dif
✔️VK Prompts: stabledif
Пікірлер: 101
Большое спасибо. Как всегда информативно и всё по делу👍
Спасибо. Полезное видео. Уже знала про инстант айди и про адаптер, теперь знаю и как стили прикрутить.
Спасибо) добавлю себе в избранные
❤ Ура ! Дождались ! Спасибо ! Ура ! ❤ ( для ComfyUI )
@RespectAi-ux3eo
3 ай бұрын
Расскажите чему вы так радуетесь?
Препроцессор ip-adapter_clip_sdxl_plus_vith что-то не находится. Подскажите, пожалуйста, кто-то знает, где его найти?
Блин,уже месяц хотел как купить курс,но что то откладывал, пойду оплачу👍
Огонь 🔥
Супер... спасибо
Спасибо ,всё круто .😂
топчик
Спасибо за информацию. Можно делать только на моделях XL?
Делаю все как на видео, все работает, почему то ни в одном результате нет схожести оригинального фота
спасибо
оно не работает с коробки, надо сначала установить insightface-0.7.3 в vevn, а так же отключить VAE и Clip skip чтоб заработало
10:30 ip-adapter CLIP не могу найти где скачать
а просто на 1.5 модели можно делать стилизацию?
А для моделей SD1.5 никак нельзя сделать? У меня SDXL не работают.
Если у меня не SDХL, то как мне действовать? Просто препроцессоры не переименовывать? И спасибо за детальный разор! Это то, что я хотела!
чета в forge нужного препроцессора ip-adapter нет...
@YuryDa
3 ай бұрын
докачай
Спасибо огромное. Первое видео получилось наAnimateDiff вчера благодаря вам. Со стилизацией не так радужно. Выдаёт ошибку RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'
Еще бы видео про Лору sdxl на своем компе без всяких сервисов и сайтов) не нашел на ютубе такого видео
@TintoMemes
3 ай бұрын
Дааа) давно жду
Хотелось бы конечно и Forge узнать какой препроцессор нужно использовать. Но в любом случае большое спасибо. Если кто-то уже разобрался с Forge - дайте знать в комментариях, пожалуйста
@intergalacticpassenger5911
3 ай бұрын
привет, в фордж в ControlUnit0 - preprocessor: InsightFace (InstantID); model: ip-adapter_instant_id_sdxl [eb2d3ec0]. ControlUnit1 - preprocessor: instant_id_face_keypoints; model: control_instant_id_sdxl [c5c25a50]
@yangametv1222
3 ай бұрын
@@intergalacticpassenger5911 Это то понятно, а что на ControlUnit2 ставить? На видео ведь 3 контролнета задействовано
А что я делаю нитак, при выборе шагов (где то 30 беру) наверное много? Сильно ухудшает..
🤝👍🙏
Здравствуйте! При стилизации фото, стал появляться водяной знак, что делать?
Кто-нибудь знает, почему на генерации в итоге получается менее детализированное изображение, чем на оригинале? Размеры исходных картинок совпадают попиксельно, более того - фото в фотошопе подобрано по крупности и позе, лицо по размеру совпадает с референсной генерацией. А на выходе - мыло, по крайней мере, по сравнению с генерацией с выключенным контролнет. Карта 3070Ti, 8GB.
@zashibal
2 ай бұрын
такая же фигня, всё получается, но детализация оочень плохая одно мыло
Так, в целом, сколько оперативки и видеопамяти нужно на InstantID и IP-Adapter?
@maxvorobyev9596
3 ай бұрын
Для высоких разрешений не меньше 12Гб видеопамяти и 32Гб оперативки. У меня в данный момент загружены 22 гига (вся система) + 13 гигов видеопамяти в момент рендера.
А что за интерфейс у Вас на автоматике? Это обычный автоматик или фордж?
@Pit_74
3 ай бұрын
В частности кнопки расширений удобные
@TheMaxvin
2 ай бұрын
@@Pit_74 tabs extension
Спасибо за видео. А можешь пожалуйста ещё рассказать как включить FP8? Недавно Automatic1111 обновился и теперь есть поддержка FP8: использует меньшие объемы памяти при тех же вычислительных возможностях. Пишут люди что скорость на SDXL моделях довольно существенно увеличилась. Но я лично пока не знаю как включить эту функцию так как нужно ещё дополнительно установить PyTorch и шаманить с xformers, так как если не ошибаюсь то уже есть совместимость с PyTorc.
@StableDiff
3 ай бұрын
Модели нужно конвертировать под FP8. Скоро появятся такие модели. Но качество будет немного ниже.
@mitteos
3 ай бұрын
@@StableDiff понял, значит это не что я думал... спасибо за ответ
@date2077
3 ай бұрын
@@StableDiff Ничего под fp8 конвертировать не надо.
@mitteos
3 ай бұрын
@@date2077 Я в итоге всё сделал и включит эту функцию, так заметной прибавки к скорости я не ощутил. Естественно запускал без xFormerts так как оказывается он не совместим с PyTorch.
у меня в фордже в препроцесоре вместо ip-adapter_clip_sdxl_plus_vith стоит InsightFace+CLIP-H (IPAdapter) это тожесамое или надо качать тот что у вас именно
@StableDiff
3 ай бұрын
На forge не проверял. В видео обычный портабельный автоматик.
@user-ty8eo3up3g
3 ай бұрын
Да. Это тоже самое
@YuryDa
3 ай бұрын
нужно докачивать эту модель
привет,спасибо - не знаю у кого как , у меня одного так? -) но после нескольких генераций подряд в базовом автоматике -ip adapter начинает рандомно отваливатся ,и пока не перезапустишь автоматик и не настроишь заново не работает , еще если фон светлый и лицо светлое не определяет лицо и если лицо примерно меньше определенного размера то-же выпадает в ошибку,на форже все ровно
В сборке от Христ не работает. (
11:58 настройки вкратце.
в forge твоей сборки нет instant_id_face_embedding как это решить ?
@YuryDa
3 ай бұрын
Для начала скачать эту модель со страницы разработчика instantID и положить ее в нужную папку
@55bess
3 ай бұрын
@@YuryDa был на странице разработчика, нет модели с этим названием. Установлено еще 2 версии 1111, там есть по умолчанию именно эта эмбединг. Само название файла говорит о том что он встроенный
не могу найти препроцессор ip-adapter_clip_sdxl_plus_vith , дайте ссылку, добрые люди....
@Iwatchvideoclip
Ай бұрын
в поиске ip-adapter_clip_sdxl_plus_vith, первая ссылка
Про модели, которые нужно скачивать и будут использоваться, лучше бы в начале говорить, до самого процесса. А в целом, спасибо за полезную инфу!
Первое, ты не оставил ссылку на ip-adapter sdxl vit-h, пришлось самостоятельно искать h94 и выкачивать модель. Второе, уже целый час пытаюсь добиться результата по твоему тутору. Бросаю в основной фейс своё фото (в первые 2 кантрола, в третий бросаю стиль) но на выходе либо супергерой в маске, либо деваха. Где Я в этом уравнении?)))) Не работает.
@StableDiff
3 ай бұрын
Проверь веса CN
@wiwwiw2890
3 ай бұрын
А переписать ссылку с видео, не догадался? )
@CrDesigner
3 ай бұрын
@@StableDiff Всё ровно как у тебя
@CrDesigner
3 ай бұрын
@@wiwwiw2890 А что быстрей, переписать длинную ссылку или на хабе ввести h94 ? ))))) Не учи отца детей делать.
@YuryDa
3 ай бұрын
смотри ошибки в консоли - скорее всего control net не задействуется
Почему-то ооочень долгая генерация идёт (rtx 4070 12gb, 32gb ram), при том, что без третьей панели CN всё окей и генерации с лицами проходят менее чем за минуту. В чём может быть проблема?
@TalkerSP
3 ай бұрын
Тоже очень долгая генерация, более 7 минут кофиг такой же только оперативки 48гб
@YuryDa
3 ай бұрын
instant только на SD Forge работает быстро без танцев с бубном
@TheTornado73
3 ай бұрын
в автоматике надо поставить - Optimizations-Cross attention optimization-xformers, по умолчанию авто стоит ,контрол нет слетает на генерацию процом даже с установленным флагом xformers при старте
@gromada2048
2 ай бұрын
@@TheTornado73у меня 4060 8гб, 32 оперативы. Может конечно не хватает, но такой вопрос: Настройки-control.net-model cash size какой нужно ставить? Настройку оптимизации сделал, не помогло😢 при 24 шагах генерация длится около 20 минут. И ещё нужно ли в ctrlnet ставить галочку low vram?
@TheTornado73
2 ай бұрын
@@gromada2048 да нужно , 8 гб конечно для sdxl откровенно мало ,еще в форже есть внизу вкладка never oom integrated попробуйте галки там поставить , там оно как то память хитро перераспределяет model cash size вообще не трогал по умолчанию
У меня Automatic 1111 и не одна модель XL не работает, если кто-то знает как решить проблему буду благодарен
@para11ax
3 ай бұрын
возможно у тебя мало видеопамяти, у меня rtx 3070 8GB и мне тоже не хватает для нормальной работы.
@Stoicismiphilosophia
3 ай бұрын
@@para11ax у меня RTX 4070 12gb все тянет кроме XL
@YuryDa
3 ай бұрын
попробуй в SD Forge
@para11ax
3 ай бұрын
@@YuryDa действительно, в Forge все работает
Очередная сырая чухня, которая не покрывает даже базовых потребностей. Стиль на втором изображении очень далек от заданного стиля. Ждем дальнейших улучшений. Но за видео огромное спасибо
@vegaferse102
3 ай бұрын
Сам SD в целом сырой и не идеальный.
@YuryDa
3 ай бұрын
Все равно он лучше, чем Миджорни и Дали@@vegaferse102
@YuryDa
3 ай бұрын
Всё равно он лучше, чем Миджорни или Далли, так что довольствуемся тем, что имеем
@TheTornado73
3 ай бұрын
промт не меняли ,надо играть- там вариатов тысячи - все нормально работает на форже
На колабе это делать бесполезно, такую порнуху выдает - больно смотреть😂😂😂
Ну вот. Танцы с бубном начались((((
Хотел бы раскритиковать контент, он не несёт ничего нового, уже 100500 раз про это было сказано. От всех русскоязычных скоро отпишусь, уровень дно. В РУНЕТЕ толковые это Неуроген и Христ, остальные заняты не своим делом.
@user-ty8eo3up3g
3 ай бұрын
Да у Христа тоже норм контент был только на рассвете SD прошлой весной. Потом всякая мелочевка пошла. Но даже за тот старый контент ему низкий поклон. А вот среди западных есть интересные челы, особенно автор IPAdapter-а. Сам планировал по комфи какие нибудь интересные туторы записать
@date2077
3 ай бұрын
@@user-ty8eo3up3g согласен. А есть еще кто интересный в Ру сегменте? Из интересных могу посоветовать computergraphics42, русскоговорящий американец.
@smartfox6553
3 ай бұрын
@@user-ty8eo3up3g где найти на Ютубе автора IPAdapter-а? Какой ник у него или как его найти?
@dianaorion2
3 ай бұрын
@@user-ty8eo3up3g у меня по Христу не всё получается. Плюс этот его стиль изъяснения... Не всегда въезжаю, что он говорит ))))
@TintoMemes
3 ай бұрын
Не согласен!
Всё щас бизнесменов с картинами на холсте подвинут в конец очереди😂