Как сделать увеличение разрешения и качества видео с помощью Stable Diffusion

Тәжірибелік нұсқаулар және стиль

В этом видео я покажу, как сделать обработку видео в интерфейсе automatic1111, нейросети Stable Diffusion
💸 Вы можете поощрить автора копеечкой по ссылке: boosty.to/riejoncer
Мой канал на Rutube: rutube.ru/channel/23873643/
Это же видео на Rutube: rutube.ru/video/9e4d69d05d4d2...
Ссылка на конвертер: www.online-convert.com/ru
Таймкоды:
0:00 Вступление
0:34 Приступаем к работе
0:54 Какие программы подходят
1:06 Делаем секвенцию в Vegas Pro 19
2:37 Делаем секвенцию в Photoshop 2020
3:54 Делаем секвенцию в Photoshop 2013 (CS 6.1)
4:50 Делаем секвенцию в Adobe Media Encoder 2022
6:23 Оптимизируем секвенцию для обработки
7:55 Запускаем нейросеть
8:34 Начинаем обработку секвенции
11:05 Что делать если нейросеть зависла во время обработки
12:41 Окончание обработки нейросети
13:09 (Adobe After Effects 2022) Превращаем обработанную секвенцию в видео
14:08 (Vegas Pro 19) Превращаем обработанную секвенцию в видео
15:06 Конвертируем оригинальное видео, чтобы вытащить звук
16:33 Добавляем звук в обработанное видео
17:46 Результат доработки видео
19:29 Концовка

Пікірлер: 26

  • @vicolan_mass
    @vicolan_mass Жыл бұрын

    С 17 или 18 выпуском "Ну, Погоди!" было бы очевиднее разница. Там выпуски никогда официально не реставрировались, что делает их более открытыми для экспериментированию с четкостью изображения. Ну а гайд довольно полезный, хоть и скорее базовый.

  • @stanislavkaysin
    @stanislavkaysin Жыл бұрын

    Уже всё гораздо проще. Есть Topaz с целым нобором разных алгоритмов восстановления старого ахрива. Просто закадываешь, как в конвертор файл исходника, выбираешь алгоритм и ждешь финального результата. Мультики с их "векторными" цветами легче всего и качественнее всего будут обрабатываться. Чем лучше иходник, само собой тем лучше будет финальный результат.

  • @epm675

    @epm675

    Жыл бұрын

    Звучит интересно, я просто показывал что сам знаю, но догадывался что такой вариант тоже есть. Можно будет попробовать, спасибо за рекомендацию, друг)

  • @EriIaz

    @EriIaz

    Жыл бұрын

    У SD и Топаза принципиально разный принцип действия. Топаз работает на GAN-сетях. Такие сети узко специализированы. Те, что применяются Топазом, обучены маскировать пиксельную сетку, уточнять края объектов, а если точнее, края контрастных областей. Это очень хорошо работает с мультипликацией и анимешными артами, так что "Ну, погоди!" - идеальный кандидат для Топаза, а вот с фильмами и фотографиями эффект уже не настолько хорош: художественные нейросетки плохо обращаются с естественными деталями, а естественные имеют слабо выраженный эффект. Они практически не добавляют новую информацию в кадр. Есть более сложные GAN-нейросетки, обученные генерировать что-то конкретное и добавлять новую информацию - например делать естественные лица, но весь фильм через какой-нибудь Codeformer точно не прогонишь, такой нейронке надо четко показывать, где ей надо работать, а где - нет, иначе она увидит и улучшит "лица" там, где их не должно быть. В итоге, получается либо очень слабый эффект, либо очень малая универсальность такого повышения разрешения. Stable Diffusion - это универсальный генератор сигнала из шума с учётом текстовых инструкций. Она прекрасно умеет делать две вещи: убирать шум и создавать новые детали. И то, и другое необходимо при повышении разрешения, в противном случае от повышения разрешения мало толку. Грубо говоря, если взять шакалистую 480р сцену с Эммой Уотсон, где она играет Гермиону и держит волшебную палочку в руке, и скормить это Топазу, то мы не получим новых деталей: палочка останется тупо одной линией, лицо останется шакалистым. Если скормим Кодформеру, то уже получим очень качественное лицо, но вот сама сцена не улучшится. А если скормим SD, указав что это кадр конкретной актрисы, в конкретном сеттинге, то она дорисует то, что по ее мнению вписывается в контекст. Конечно, нужен довольно маленький Denoise Strength, иначе разные детали будут "рябить" и бить зрителю по мозгам, но вот мелочи она воспринимает неплохо, и мы уже сможем увидеть светотеневой рисунок на палочке, реснички на лице актрисы, и тому подобные вещи. А самое главное - все три метода не исключают друг друга. Повышение разрешения через SD даёт лучший результат, если скорить ему не 480p картинку и приказать ему сделать 1080р, а прогнать ее сначала через какой-нибудь топазоподобный ESRGAN, и делать 1080p из результата его работы. А поскольку у SD все не очень хорошо с анатомией, результат работы SD неплохо прогнать ещё и через Codeformer там, где есть лица людей. И вот тогда мы получим действительно хороший результат.

  • @stanislavkaysin

    @stanislavkaysin

    Жыл бұрын

    @@EriIaz очень объёмно и рассудительно. Кайф. Но от себя добавлю, что новые версии Топаза уже научились работать с лицами. Делают из 300 х 400 прям шикарные результаты, повышая честкость именно лица с деталями, дорисовывая его. Могу в ТГ прислать пример до и после.

  • @EriIaz

    @EriIaz

    Жыл бұрын

    @@stanislavkaysin встроили кодформер, получается? В таком случае, он может НЕМНОГО уточнить контрастные переходы и хорошо доработать лицо. Нарисовать листья на дереве он не сможет, для этого нужен либо универсальный SD, либо специализированный GAN, рисующий листья. Который может и на лице человека листья нарисовать))

  • @alx8439
    @alx8439 Жыл бұрын

    Ждём, когда мощности домашних компов еще подрастут и этот апскейлинг станет стандартной функцией любого видеоплеера. Сейчас, когда "растягиваешь" видео в маленьком разрешении на весь свой FullHD монитор используется достаточно простые и дешевые алгоритмы апскейлинга, типа линейной или кубической интрополяции. Но дело за малым :) в играх уже вовсю используются алгоритмы с железной поддержкой от nvidia (dlss) либо чисто программные (fsr). Но я скажу так, все это - дрочево. Новых деталей ни одна из этих технологий не привнесет в картинку а сделает ее лишь чуть более чёткой. Для фанатов золотых аудиопроводов это возможно аргумент, но не более

  • @vitim1979
    @vitim1979 Жыл бұрын

    Создание любой сиквеници из видео можно в 1 клик установив Dain

  • @BereZHnoy
    @BereZHnoy Жыл бұрын

    Благодарность за видео. Я так понимаю, с этими зависаниями в процессе не получится просто оставить нейронку на ночь и утром получить готовый результат?

  • @epm675

    @epm675

    Жыл бұрын

    Скорее всего нет, когда видео достаточно длинное то зависает из-за недостатка памяти видеокарты у меня 8гб если у вас больше то может дольше. Можно ещё обрабатывать бесплатно на серверах гугл, установив туда нейросеть, но с этим я пока не разбирался.

  • @vitim1979
    @vitim1979 Жыл бұрын

    Очень сильно заморочился. С подобной задачей хорошо справится Topaz Video enhance. И по времени и по ресурсам и по качеству не уступает stable diffusion.

  • @wakeup2.369
    @wakeup2.369 Жыл бұрын

    Для улучшения мультиков можно просто юзать Topaz Video Enhance в котором все проще в разы

  • @_smart_1307
    @_smart_1307 Жыл бұрын

    Можно ли таким же методом с сериала удалить текст? Ну я про хардсабы!???

  • @kesha861

    @kesha861

    Жыл бұрын

    Хах. Чисто теоретически через "Inpaint" (это внутренний инструмент в Stable Diffusion) можно попробоваться прогнать. Но нужное место с текстом придется зарисовывать ручками,да и каждый кадр в ручную обрабатывать. Если ты с мазахисткими наклонностями, то да. А если кратко-НЕТ.

  • @_smart_1307

    @_smart_1307

    Жыл бұрын

    @@kesha861 спасибо за ответ. Если вдруг появится какой-то метод, то напиши!)

  • @NixAxer
    @NixAxer Жыл бұрын

    Для подобных задач давно есть спец софт.

  • @Vasilaki_Official
    @Vasilaki_Official Жыл бұрын

    Так и не показал результат, как оно было и как стало

  • @epm675

    @epm675

    Жыл бұрын

    На канале же есть видео с результатом, там вся серия целиком ^^

  • @Vasilaki_Official

    @Vasilaki_Official

    Жыл бұрын

    @@epm675 а где скачать нейросеть и какие системные требования?

  • @user-bu7vm6mf2x

    @user-bu7vm6mf2x

    Жыл бұрын

    @@epm675 Я тоже не нашел. Можно ссылку сюда пожалуйста?

  • @kesha861

    @kesha861

    Жыл бұрын

    @@Vasilaki_Official пишешь в поисковике Stable Diffusion. Открываешь GitHub и качаешь любую понравившуюся сборку. Топом считается AUTOMATIC111, если чисто поиграться,можешь Easy Diffusion поставить (там только базовая генерация изображений по описанию). Требования описаны под сборками на их страницах. "Базой" же считается видюха 4GB и выше, процессор "не кирпич",особых требований к нему не видел. Можно и на более слабой видюхе запустить,но там уже желательны гибкие настройки через расширения. Зависимость такая: чем больше ядер и памяти у видеокарты,тем быстрее она генерит изображение.

  • @kesha861

    @kesha861

    Жыл бұрын

    @@user-bu7vm6mf2x пишешь в поисковике Stable Diffusion. Открываешь GitHub и качаешь любую понравившуюся сборку. Топом считается AUTOMATIC111, если чисто поиграться,можешь Easy Diffusion поставить (там только базовая генерация изображений по описанию). Требования описаны под сборками на их страницах. "Базой" же считается видюха 4GB и выше, процессор "не кирпич",особых требований к нему не видел. Можно и на более слабой видюхе запустить,но там уже желательны гибкие настройки через расширения. Зависимость такая: чем больше ядер и памяти у видеокарты,тем быстрее она генерит изображение.

  • @CAMKATIC
    @CAMKATIC Жыл бұрын

    блин вы не смогли даже анимацию вытащить дифузией...смешно...елку смотрим какое паршивое качество получилось , нада пробовать диффузию в отрыв пускать пусть рисует а апскел это хрень

  • @epm675

    @epm675

    11 ай бұрын

    Это был скорее эксперимент, соглашусь что можно подойти серьезнее и сделать лучше ^^

Келесі