Генерация лица в FORGE используя Instant ID
Ғылым және технология
Как генерировать лица по фотографии?
Важно! Посмотреть с начала, чтобы понять логику работы.
Я использую FORGE для быстрой генерации лиц.
Метод работает для поворота лица вплоть до 90 градусов.
Все подробности смотрите на видео.
00:00 - Cмотреть ВСЕ
00:18 - Настройки запуска FORGE
00:46 - Генерация мужчины на турбо модели (15-20секунд)
01:06 - Подключение Controlnet
02:05 - Важная особенность в IP Adapter
03:27 - Генерация лица, которое вы знаете (на примере моего)
04:07 - Добавление третьего Controlnet для деталей
04:53 - Простая генерация Джокера
05:20 - Генерация Джокера с IP Adapter
06:01 - Меняю позу, рассказываю о настройке
07:20 - Генерация женщины
08:00 - Если генерация не сильно похожа
09:06 - Добавление четвертого Controlnet
09:46 - Меняю позу
10:20 - Результат низкого CFG Scale
10:37 - Генерация на стандартной модели (30-40секунд)
11:40 - Ошибка с шагами и семплером
12:05 - Подправление промпта и добавление IP Adapter для деталей
13:55 - Итого, и что делать
14:26 - Генерация без промпта через IP Adapter
Пікірлер: 76
Спасибо большое! Очень круто! Подписка, лайк.
@DimaMebiusPC
20 күн бұрын
спасибо за высокую оценку
спасибо
Уважуха братан, что так классно объясняешь и продвигаешь эту тему
@DimaMebiusPC
Ай бұрын
спасибо. Вообще это не основная тематика, но интересно наблюдать за стремительным развитием
Вооот именно за фразу "На 75 проц проглядываем между 0.1 и 0.75" Ты красава
@DimaMebiusPC
2 ай бұрын
Спасибо, стараюсь максимально доступно именно логику работы объяснить, пока сложно дается
Я так понял, это видео для меня) у меня запрос был на инстантАйди) спасибо 🙏
@DimaMebiusPC
Ай бұрын
обращайтесь, если будут вопросы
отличное видео
@DimaMebiusPC
2 ай бұрын
Спасибо, рад стараться
Спасибо. Хочу попробовать. До этого пробовал с обычной sdxl и ip adapter. Очень плохо получалось. И долго. Если видео не потеряю, отпишусь о результате, когда попробую 🙂
@DimaMebiusPC
2 ай бұрын
Спасибо за коммент :)
Молодец что объясняешь полезные вещи, но музыку лучше убрать
@DimaMebiusPC
2 ай бұрын
спасибо за коммент. Без музыки когда ничего не говорю очень странно ощущается видео
Все круто. Но один вопрос - как закрепить кнопку " Generate", чтоб она была закреплена, как у тебя?
@DimaMebiusPC
2 ай бұрын
Вообще можно стартовать через ctrl+enter. А с кнопкой это моя фишечка, окно с генерацией тоже ездит. forge\webui\style.css в нем два окна отредактированы txt2img_generate drive.google.com/file/d/1163nSqn-D95RXPzMoTNDFc6XUSMEseHO/view?usp=sharing
Спасибо за гайд но не мог бы ты еще подсказать откуда взяты модели. Сама сборка стейбла тот же фордж. Только начал учусь.
@DimaMebiusPC
Ай бұрын
модели стандартно с civitai.com
@AndAnd-bj8gy
Ай бұрын
@@DimaMebiusPC Я когда начал пытаться искать качал с разных мест в том числе и с цивиты, но даже не могу понять работает ли оно. делал все по вашему видео.
@DimaMebiusPC
Ай бұрын
@@AndAnd-bj8gy если результат хоть какой-то есть, значит работает
в DreamShaper и других как использовать lsm чтобы быстрее генерирвать, закинул в фордж и получились артефакты
@DimaMebiusPC
Ай бұрын
LCM модели рисуют быстрее. Соответственно им нужно меньше шагов, а часто и ниже CFG. Всегда есть рекомендации от разработчика модели. Так же сильно влияет использвемый семплер (я использую не рекомендованый, и результат быстрый и качественный). Так же в поиске всегда можно прогнать таблицу генераций cfg\steps (самое нижнее меню в форже\автоматике) чтобы выбрать нужный результат, потом от этого результата сетку с семплерами, и выбрать лучший на ваш вкус
привет! спасибо! подскажи, пожалуйста, можно ли на уже существующее фото наложить лицо? то есть чтобы на фото поменялось только лицо без окружения?
@DimaMebiusPC
2 ай бұрын
попробуйте через вкладку inpaint, меняем через reActor. Еще пару месяцев почти идеально с ним получалось, потом что-то обновилось и лично у меня стало плоское лицо с ним делать
@GeGe-gg3zt
2 ай бұрын
у меня тоже не работает нормально =( эх@@DimaMebiusPC
@DimaMebiusPC
2 ай бұрын
@@GeGe-gg3zt тогда инпеинт, выделяем маску лица на изменяемом фото + контролнеты: по инстант айди (cn0 новое фото, cn2 индепенд) и cn3 ip adapter vitH + faceid-plusv2 по вкусу
@GeGe-gg3zt
2 ай бұрын
@@DimaMebiusPC спасибо, извини а можешь такое короткое видео записать?
@DimaMebiusPC
2 ай бұрын
@@GeGe-gg3zt да без проблем
Instant ID только с sdxl работает, а можно через IP-Adapter-faceid_sd15 в FORGE так же заменять ?
@DimaMebiusPC
Ай бұрын
Такой способ в полторушке не работает
@AndreyMolotov-zh8zv
Ай бұрын
@@DimaMebiusPC А какая видекарта для sdxl нужна у меня 1660 супер, и подргузить не получалось но тогда у меня и файл подкачки не был настроен.
@DimaMebiusPC
Ай бұрын
@@AndreyMolotov-zh8zvнужна карта с 8гб видео памяти, одна модель sdxl занимает почти 7гб видеопамяти. Карты 2060супер\3050 минимально для запуска. В идеале минималка 3060 12гб
А можно как то сохранить настройки чтобы они были по умолчанию ?
@DimaMebiusPC
Ай бұрын
Настройки хранятся в сгенерированых изображениях, можно перетянуть и применить. Так же в контролнете можно создать пресеты и сохранить их. Но на самом деле не очень удобно
Можно ссылочку на контролнет модели
@DimaMebiusPC
2 ай бұрын
на сегодняшний день я пользуюсь huggingface.co/h94/IP-Adapter/tree/main/sdxl_models . Для инстанта скачать и переименовать по инструкции github.com/Mikubill/sd-webui-controlnet/discussions/2589
@intergalacticpassenger5911
2 ай бұрын
@@DimaMebiusPC Благодарю!)
@SireNicho
Ай бұрын
@@DimaMebiusPC привет, а где препроцессор для этого айпи адаптера?
@DimaMebiusPC
Ай бұрын
@@SireNicho предпроцессоры встроенные, модели huggingface.co/h94/IP-Adapter/tree/main/sdxl_models
@SireNicho
Ай бұрын
@@DimaMebiusPC я это всё качнул, вставил в папку models/controlnet, но препроцессора как у тебя не нашел в списке)
Неплохо бы сказать в видео о видео карте и памяти. Так как этот вариант очень прожорлив и к оперативке и к видео. У меня при таких же настройках, той же модели и тоже в Forge v1.8 время генерации близко к вашему, но почему то такой расход по памяти видео карта RTX4060 Ti 16Gb: Video: 12.57 GB, Ramm: 14.47 GB Это минимум. А часто даже не хватает. Странно. И ещё, сколько не пробовал при таком подходе сделать мужчину в любом головном уборе, шляпе, не получилось. Шляпа исчезает 😊 Если просто заменить лицо, сохранив всё остальное и шляпу 😊😊, то по мне хватает ReActorа и заморочек никаких и генерировал даже на картах с 4Гб
@DimaMebiusPC
Ай бұрын
у меня обычно держится в районе 12гб врам, оперативка иногда до 15-30гб, и своп до 45-50гб забивается. Для шляпы надо второй ip adapter plus face, он максимально много берет
@romanioamd5319
Ай бұрын
уже сколько говорили для работы с графикой и с ии нужна 3090 с 24 гб, а не кастраты из младших серий.
@DimaMebiusPC
Ай бұрын
@@romanioamd5319 да в целом, для начала 8гб хватает, почти любая 5 летняя карта пролазит
@romanioamd5319
Ай бұрын
@@DimaMebiusPC у меня была 1080ti 3 года назад покупал, работать с нейросетями стало невозможно и она еще долго генерировала с более высокими разрешения и работать невозможно я уже не говорю про комфиуюай, поэтому сменил на 3090 теперь никаких проблем нет не с производительностью не с видеопамятью.
@DimaMebiusPC
Ай бұрын
@@romanioamd5319 ну я тоже 3060ти поэтому поменял, середняки и старые карты слишком долго все делают
жаль 8 гб видеопамяти никак не тянет, так хочется поиграть с инстантид но комп стабильно виснет намертво с любым препроцесором контролнета в sdxl
@DimaMebiusPC
2 ай бұрын
что за карта? на моей прошлой 3060ти можно было повоевать
@abzaccc
2 ай бұрын
@@DimaMebiusPC asus gtx 1070 strix
@DimaMebiusPC
2 ай бұрын
@@abzaccc по-идее должно шевелиться. не быстро, но должно
@abzaccc
2 ай бұрын
@@DimaMebiusPC если не подключать контролнет то всё ок, а так реально зависает система и только ребут помогает, раз 10 уже столкнулся с этим
в профиль повернуть не получается (( ?
@DimaMebiusPC
Ай бұрын
на каком этапе не получается сделать?
Прикол в том, что еще эти модели фиг найдешь. Их несколько десятков и можно свихнуться от их количества
@DimaMebiusPC
15 күн бұрын
во всех видео я использую всего 4 модели, в рисовании людей достаточно их
Пробовал, лицо похоже, но глаза, губы, рот мутанты какие-то .. миллион костылей и нет прям нормального способа. У тебя на видео глаза норм получаются и рот
@DimaMebiusPC
15 күн бұрын
значит какие-то настройки\модель не как в видео. Был товарищь, поменял 4 настройки на свои и потом сказал "не получается"
«Поза лица»?! Что ЕГЭ делает с людьми?
@DimaMebiusPC
Ай бұрын
вам шашечки, или ехать? =)
@myagotin
Ай бұрын
@@DimaMebiusPCПочему "или"? Нам и шашекчки и ехать. :)
@DimaMebiusPC
Ай бұрын
@@myagotinна самом деле мне пока безумно сложноразговаривать с монитором без собеседника, я технарь, а не балабол :)
Осталось продать обе почки и собрать комп, чтобы поигратся стаблом😂
@DimaMebiusPC
Ай бұрын
либо просто держать компьютер в актуальном состоянии )