Новый SDXL ControlNet для Automatic 1111, не качай 50 гигов! Обзор и сравнение всех моделей
Всем привет из нового видео вы узнаете:
• Что такое вообще ControlNet
• Как поставить ControlNet последней версии
• Как скачать SDXL модели контролнета
• Какие бывают модели и как они работают
• Увидите наглядно сравнение всех моделей
• Получите прямые ссылки на и скачивание
Доска в Miro: miro.com/app/board/uXjVOWqkev...
Расширение ControlNet: github.com/Mikubill/sd-webui-...
Все модели ControlNet: huggingface.co/lllyasviel/sd_...
Все лучшие SDXL ControlNet модели в одном месте: boosty.to/neuro_art/posts/b27...
Подпишись на мои телеграм каналы: t.me/addlist/LQ-fUTyhVjEzYjIy
-----------------------------
Наши обучающие программы
Онлайн интенсив Нейробуст - освойте базу Stable Diffusion всего за два дня: neurophotograph.ru/neurobustv...
Курс Нейро-Архитектор, научитесь визуализировать интерьеры и экстерьеры в SD: neurophotograph.ru/neuroarhit...
Освойте новый альтернативный форк Automatic 1111 под названием SD.Next: neurophotograph.ru/vladdiffusion
#ai #aiart #stablediffusion #aicreation #automatic1111 #controlnet #sdxl
Пікірлер: 65
Видео было Полезным? Поставь Лайк и Подпишись на канал! 👍 🥰 Ранний Доступ к роликам, Секретный чат, Эксклюзивные Обучающие Стримы и твоя поддержка, только на Бусти: boosty.to/neuro_art 🔥 Всё Самое Свежее в Моём Телеграм-Канале! Подписывайся, чтобы быть в курсе всех обновлений и новостей: t.me/neuro_art0 🥳 Генерируй онлайн бесплатно прямо в Браузере! Исследуй неограниченные возможности нашей нейросетей: artgeneration.me/ 🧐 Ищешь с чего начать знакомство с нейросетями? Обучайся с помощью наших онлайн курсов по Stable Diffusion: neurophotograph.ru/catalog 🌟Всё о Нейросетях в Одном Месте! Подпишись на все мои Телеграм каналы в один клик: t.me/addlist/LQ-fUTyhVjEzYjIy Твое Мнение Важно! Как Тебе видео? Напиши в Комментариях! 👇
спасибо за детальный разбор с примерами, особенно за подробную сравнительную таблицу.
Колоссальная работа по составлению таблички, спасибо большое от любителей инфографики, не удаляйте, пожалуйста)
мощно! спасибо! Действительно большой труд!
Спасибо. Полезненько. А то все никак не мог подступиться к контролнету для хл с этим разнообразием моделей
Титанический эксперимент. Спасибо! Еще бы для пятнашки такой тест бы)
С раскрашиванием все результаты плохие. Цвета везде более тусклые и темные, особенно это видно с собакой, но и с Монро тоже заметно. Да и вообще все заявленные инструменты дают результат на троечку, мне не понравилось из этого ничего. Но увидеть что они вообще есть было интересно, спасибо за проделанный труд!
Хорошая работа.
Отличный ролик, спасибо. Вот бы еще увидеть в вашем исполнении развернутый урок по 3D Openpose эдитору. 👍 В нашем сегменте про это нет. Только у иностранцев.
Благодарю за такой расклад.Особенно в "Доска в Miro:".Что б не искать по сети. У меня почти все модели SD 1.5_SD 2.1.Но честно скажу то,что я всего пару раз пользовался моделями SD 2.1:)).То есть по идее их надо вообще удалить.Но жадность:( А по XL мне важны только 5-6 моделей CN,не более. Кстати "normalbae" хорошая модель,которой мало кто пользуется.Но она хороша для того что-бы лицо посмотреть у того кто в маске. Как всегда надо подождать пару недель и всё будет хорошо до модели XXXL:))
@Kinjeiro
4 ай бұрын
Какая у вас большая коллекция. У меня интернет не безлимитный, не могли бы подсказать какие модели Вы бы посоветовали качать? Типа топ 10 для разных нужд
@michail_777
4 ай бұрын
@@Kinjeiro Привет.Ну вы вспомнили:)) Тогда всех моделей было чуть более сотни,а сейчас тысячи. И смотря для чего вам надо модели.Если просто генерировать изображения, то я этим не совсем занимаюсь. По большей части я анимацией занимаюсь.
@Kinjeiro
4 ай бұрын
@@michail_777 моя итоговая цель это мультики в стиле русских сказок, чтобы доносить какие-то хорошие ценности. Но пока только учусь через генерацию картинок, так как видел видео очень туго сейчас (максимум 4 секунды генерации). Нашел парочку лор под стили наших художников.
Прикольно
спасибо
А по карте нормалей не было норм модели? Стоит ли пользоваться этим препроцессором?
надо было мне покрасить архитектурный макет простейший, в итоге ручками )) все это работает только до того, как реально понадобится ))
надо было бы еще попробовать сделать с повышенной степенью веса в опен поуз (к примеру до 1,25-1,50), может быть получше бы прорисовывал позу)
@TheMaxvin
9 ай бұрын
или выбрать dw_open_pose
Sketch от StableAI предназначен для раскрашивания реальных скетчей, так же как и их Recolor (только он для фото). Поэтому его логично тестить в группе перекраски, а не скрибл/скетчей. Ну и ждать от него результата как от других скрибл/скетч моделей как минимум странно, тк цели разные.
@nerual_dreming
9 ай бұрын
Все скетч модели обучались на раскрашивании реальных скетчей, это не мешает их использовать как угодно, в т.ч. для перекрашивания уже существующих изображений.
красава, а то руки разгрести эту хрень попросту не доходят)
давай запилим "SD под капотом"
Почему на Automatic1111 ControlNet SDXL срабатывает очень редко c SDXL моделями? Генерирую картинки, в результате если в grids добавляется картинка из ControlNet, то значит, зацепило и сработало. Если нет, то фактически, она не срабатывает при генерации. Где искать проблему? В чем причина может быть? Очень рандомно она работает, нет постоянства, которое было с моделями SD.
@nerual_dreming
Ай бұрын
Читайте что написано в консоли, если что-то не сработало там это указано и чаще всего причина тоже.
Такое впечатление, что у автора ролика заканчивается место на жестком диске :) Эта модель показывает лучший результат, но она весит 2 Гб, поэтому берем похуже но на 700Мб :) Я генерирую картинки SDXL в ComfyUi. У меня тоже самая проблемная это Openpose. Никак не настрою :( И, да, самые лучшие ожидаемые результаты в canny и depth дают именно версии на 2Гб.
@nerual_dreming
9 ай бұрын
256 лоры разумные варианты, а место да, место тоже заканчивается, несколько терабайт уже чисто нейронками заняты =)
@The_Yxel
4 күн бұрын
@@nerual_dreming ну все равно странный аргумент. У нас не столько много лишнего времени, чтобы тратить его на то, чтобы смотреть на фиговые результаты с более легкой моделью )
У меня 1.4 терабайта моделей)
@nerual_dreming
9 ай бұрын
АСТАНАВИТЕСЬ
@georgiy0077
9 ай бұрын
@@nerual_dreming поздно, отдельный ссд на 4 тб уже заказан)
DOES DW POSE WORK WITH SDXL? Does Open Pose work properly with SDXL?
@nerual_dreming
7 ай бұрын
Dw-pose is preprocessor it's work independently from model.
стандартный canny control_depth-fp16 у меня работает, а sai_xl_canny_256lora и diffusers_xl_canny_full у меня не работают. Есть решение проблемы?
@nerual_dreming
7 ай бұрын
Скорее всего они в терминале что-то пишут, когда не работают, вот из этой информации возможно будет понятно решение.
@user-rp2bc8gl4v
7 ай бұрын
это sai_xl_canny_256lora. line 649, in check_sd_version_compatible raise Exception(f"ControlNet model {unit.model}({cnet_sd_version}) is not compatible with sd model({sd_version})") Exception: ControlNet model sai_xl_canny_256lora [566f20af](StableDiffusionVersion.SDXL) is not compatible with sd model(StableDiffusionVersion.SD1x)
@nerual_dreming
7 ай бұрын
@@user-rp2bc8gl4v Ну тут черным по белому пишет, что вы пытаетесь запустить контролнет не с теми моделями. Для 1.5 моделей свой контролнет. Для SDXL свой. Не пытайтесь использовать одни модели с другими, это не совместимо.
@user-rp2bc8gl4v
7 ай бұрын
Кинул ошибку в чат gpt, пишет что старая модель stable diffusion и не совместима с controlnet. Хотя я скачивал у xpuct портативную версию. Посоветуйте где можно скачать чтобы всё работало@@nerual_dreming
@user-rp2bc8gl4v
7 ай бұрын
спасибо, попробую@@nerual_dreming
Большинство моделей в паке от lllyasviel для sdxl не работают в automatic 1111 1.6. Не помогает переустановка расширения и python. При использовании выдаёт следующую ошибку - return F.pixel_unshuffle(input, self.downscale_factor) RuntimeError: pixel_unshuffle expects height to be divisible by downscale_factor, but input.size(-2)=1240 is not div
@nerual_dreming
9 ай бұрын
Потому что это sdxl контролнет модели которые надо использовать с sdxl моделями, такие ошибки возникают когда модель 1.5
@user-hr5bo8lc7c
9 ай бұрын
@@nerual_dreming использовал juggernaut xl
@nerual_dreming
9 ай бұрын
@@user-hr5bo8lc7c Тогда проверьте что модель контролнета не имеет 15 в названии, что-то у вас с чем-то не совместимо)
@user-hr5bo8lc7c
9 ай бұрын
@@nerual_dreming с первым пунктом ясно, а как лучше узнать несовместимость, удалить все расширения и оставить только controlnet,?
Что если я получаю такую ошибку: AttributeError: 'NoneType' object has no attribute 'shape' ?
@nerual_dreming
9 ай бұрын
Возможно выбран контролнет от версии 1.5
@user-sonyalan
9 ай бұрын
у меня написано ControlNet v1.1.408 @@nerual_dreming
@user-sonyalan
9 ай бұрын
может вы знаете какие еще причины могут быть? за все это время причину так и не решила, все обновлено, все файлы повторно переставила, но все равно ловлю эту ошибку :( @@nerual_dreming
@nerual_dreming
9 ай бұрын
@@user-sonyalan речь про конкретную модель контроллнет.
@user-sonyalan
9 ай бұрын
@@nerual_dreming я нуб, как это посмотреть?
Фиг знает что делаю не так, но на моделях 1.5 у меня картинки получаются быстрее и лучше, чем на SDXL. Использую разный промт или один и тот же, с лорами или нет, без разницы - старые модели дают лучший результат в 10 раз быстрее. Может я что-то с новым ControlNet накосячил.
@vadimv4763
9 ай бұрын
Пока SDXL это переоцененная хрень, причем очень громоздкая. Плюс натрененные модели похожи друг на друга, просто в базовую все пихают какие то свои добавки, а выдают как некую новую модель. Очень надеюсь что не взлетит ), ибо многие со своими "дохлыми" видяхами не потянут и останутся неудел. Мы еще не готовы ).
@nerual_dreming
9 ай бұрын
На самом деле базовая SDXL многократно превосходит базовую 1.5 или базовые 2 и 2.1, файтюненные модели уже выдают на порядок более крутой результат, с меньшим количеством действий, но да, требования к железу выросли, тут ничего не поделаешь, прогресс как говорится =(
@Velanteg
9 ай бұрын
@@nerual_dreming А кто сейчас использует базовую 1.5? Все используют как минимум Reliberate и по сравнению с ней SDXL это кривая и тормозящая байда. Нет ни одной причины для использования SDXL если только ты не жил в пещере все это время и не пропустил миллион качественных моделей на 1.5.
@nerual_dreming
9 ай бұрын
@@Velanteg речь идет не про базовые модели, а файтюны на основе 1.5. Вы попользуйтесь нормально файтюнеными моделями сдхл, увидите разницу. Релибрейт откровенно плохая модель 😂
Вот людям делать нечего кроме как сломанные модели загружать. Или может их используют неправильно. SargeZT обучал с другим форматом глубины, поэтому на черно белой карте получилась каша. Тест ip adapter вообще мем. Он нужен для копирования стиля, а тут всю стилизацию негативом убили заперев нейронку в реализме. Таже фигня с аниме моделями. Им вообще карту canny с рисунков делать нужно. Реалистичные изображения дают много шума и мало контурных линий.
@13-february
7 ай бұрын
спасибо за пояснение про ip adapter, там и правда в негативе базовые артовые стили прописаны были у автора
Так и не нашел ни одной причины вообще использовать SDXL. Она во всем хуже толковых моделей на 1.5, медленная жрет втрое больше памяти, качество очень низкое.
@nerual_dreming
9 ай бұрын
Значит вы не использовали SDXL достаточно. Она лучше в качестве, лучше в промптинге, а файтюненые модели на основе сдхл это просто песня.
@Velanteg
9 ай бұрын
@@nerual_dreming В каком конкретно месте она лучше? Я скачал пару самых высоко оцененных моделей SDXL, качество даже ниже чем на стоковой SD 1.5, все размытое, лицо невозможно отрисовать без размывания даже в inpaint, никакие промты не помогают. И при всем этом оно требует в 2-3 раза больше памяти на то же разрешение и втрое медленнее генерит. Все SDXL модели не идут ни в какое сравнение с Reliberate не говоря уж о более заточенных на фотореализм.
@13-february
7 ай бұрын
@@Velanteg видимо, у всех разные задачи. Я с большим удовольствием перешла на SDXL, т.к. для моих задач она генерит понятные, не поломанные и эстетичные картинки, где в большом разрешении детали не намешиваются в нелогичную кашу как на многих 1.5. моделях. Я не работаю в реализме, а работаю в артовой стилистике. Но ради интереса сейчас попробовала нагенерить фото тетенек на двух моделях, делиберейт и на sdxl классической. И мне очень понравились все результаты, но на sdxl все-таки больше, потому что для идеальной картинки понадобилась всего одна-две итерации, тогда как на делиберейт около 3-5. Размытости нет совсем ни на какой из sdxl моделей ( у меня их 3 разных). Я слышала критику в адрес SDXL, в т.ч. от Хачатура, смотрела разборы и долго поэтому ей сопротивлялась. Но в итоге в своей работе с ней так и не выцепила ничего негативного.
@Velanteg
7 ай бұрын
@@13-february Ни одна SDXL модель что я тестировал не смогла нарисовать ни одной картинки без размытости. Похоже ты как-то очень неправильно применяла 1.5 если результат у тебя там получился даже хуже чем у SDXL.