Transcript of Wan Alpha - video generation on a transparent background or green background + alpha channel. Loc...

На самом деле это очень прикольно. Это очень прикольно. Теперь игроделы, мемоделы и аниматоры могут выйти вообще на совершенно другой уровень с этой штукой. Ребята, я принёс вам крутую новость и видос, соответственно, о том, что вышла модель на базе One 2.1 для генерации видео на прозрачном фоне. То есть альфа канал, маска, все дела. Полностью прозрачный фон. Вообще отлично, довольно работает. Естественно, это относится к семейству модели. Работает она в базе на One 2.1. А я сейчас пока расскажу, как это всё установить, как это запустить и на что обратить внимание. Кстати, да, привет. Ты находишься на канале AI гератьон, канале, который показывает и рассказывает, как пользоваться локальными нейросеточками и не продаёт тебе шиткурсы с нуля до Pro. Это лайк. Итак, а Alpha. Что же это такое? Alpha вот high quality тексту to video generation, то есть оно умеет генерировать текст to видео. Оно пока не умеет ид видео, возможно в будущем появится и не умеет видео ту видео, во всяком случае на момент записи этого ролика. И вот у них сразу на странице Гитхаба есть куча примеров, как это выглядит в генерации. Ну мы посмотрим, естественно, на это вживую. Теперь нам это всё нужно поставить на Кофе и запустить, чем мы, собственно, и займёмся. Если ты первый раз на моём канале, я напомню, что все ссылочки на все модели, на все Workflow или на все материалы, они будут в описании к этому видео. Бесплатно, в кайф. Никаких бустей, никаких патреонов, никаких закрытых ТГ групп, чатов, каналов и прочее. Всё прямо сразу по ссылочке. Нажал, скачал себе, установил, запустил, радуешься. А взамен такому аттракциону Невиды на щедрости я всего лишь прошу поддержать мой канал, если тебе нравится то, что я делаю не сейчас, может быть, после просмотра видео. Я буду очень признателен твоей поддержке. QR-кодик есть на экране, ссылочка есть в описании. Большое спасибо, что поддерживаешь меня и мой канал, и разделяешь мои ценности и убеждения. Теперь к установке. Ну да, мы будем ставить на Confi UI, поэтому нам нужен Confi UI. Если у тебя его нет, найди, как установить Confi UI. А я уверен, 90% те, кто меня смотрит, у них уже есть Кофi. Итак, по ссылочке в описании мы переходим на GitHub. У нас открывается вот такая страница one alpha, да, мы листаем в самый низ, да, здесь примеры, вот это всё. И нам нужно засетапиться. Нам нужно быстренько всё это установить. Во-первых, нам нужно скачать модели. Мы опускаем опускаемся вот сюда до уровня official confui version, да? И вот здесь вот написано download models. И вот это вот всё. Если что-то из этого у вас не скачано, те, кто пользуется ваном, а, уже давно, у вас 100пудов уже скачано. Вот этот текст энкоoder. Ну, короче, вот эти модели должны быть скачаны. Прокликиваем это всё и скачиваем себе. Особенно обратите внимание на вот это AO RGBA Dora. Она должна быть 13500 changed. Ээ некоторые могут наткнуться на старую ссылку, которая будет не changed нужна именно changдed, чтобы оно нормально работало. Ну короче, здесь сейчас уже я проверял, вроде нормально. Скачиваем, значит, модели и кладём их, как указано по этой схеме. А именно мы в копке UI находим папку Models. В папке Models есть папка diffusion models. Туда кладём модель one 2.1 тексту видео 14 млрд параметров FP16.ssafet tensorers. То же самое проделываем с файлами Lore, текст энкодером и две модельки. Всё это мы кладём по папочкам. После того, как мы всё это положили по папкам, мы не торопимся качать workflow. Мы открываем. Вот здесь есть пункт три. Install customba video previewer. Это этой ноды нет в кофе UI менеджере, поэтому здесь прямым текстом написано copy the file. Нажимаете сюда, скачивается файл, он так и называется, RGBA saveols.pi. И кладём просто этот файл в confui customs папку. Вот мы находимся в папке Conf UI. кастомные ноды. Мы открываем кастомные ноды. И вот этот файл просто здесь лежит. Не надо его запускать. Ничего с ним не делать. Скопировали, положили в эту папку, забыли. И вот после того, как всё вот это сделали, мы берём вот здесь вот пункт четыре workflow. Вот скачиваем этот jсончик и в открытый conf UI просто его перекидываем драгондропом, и тогда у вас всё определится и всё заработает. Вот этот вот Python файл, который мы скачивали, тоpй, да, он нужен для того, чтобы работало, работали вот эти три ноды. Это, это и вот это. Собственно, если его не скачать, они не определятся и conf UI manеджер менеджер их install Missing Custom Notes не найдёт. Это пока что на момент записи видео. Вот у нас открывается вот такой workflow. Давайте посмотрим, что у нас здесь есть. У нас здесь, значит, нода загрузки модели, нода загрузки лоры, которая позволяет нам генерировать на четырёх шагах только, то есть быстренько. Здесь у нас нода загрузки как раз вот этой доры, которую мы не перепутаем, да? RGBA дора вот это нода её загрузки. Здесь у нас две ноды загрузкие специальных, естественно, RGB декодер и альфа декодер. И вот эта нода у нас выплёвывает результат. Ну, собственно, здесь у нас в настройке ширина, высота, количество фреймов, прот позитивный и негативный. И здесь текст enor, ну, то есть вообще workflow максимально простой. Вот. И для того, чтобы нам сгенерировать всё вот это, я закрою, оставлю вот этот workflow. Это ровно тот же самый workflow с небольшими надстроечками. Я всё расскажу. И для того, чтобы нам сгенерировать вот, например, котика на прозрачном фоне, мы должны написать, мы должны следовать определённому алгоритму, определённой структуре промта, а именно, мы должны указать обязательно это об этом говорят разработчики. Здесь об этом написано. Для того, чтобы всё качественно сгенерилось, всё нормально сгенерилось, вы должны указать размер кадра. То есть это медиумшот, closeup шот, не знаю, там портретный или что-то такое. То есть как построен кадр. Потом описание персонажа и обязательно указать, что видео имеет прозрачный фон. Это обязательно. И также можно ещё указать стиль. Ну, желательно указать стиль. Вот здесь подсказочка, она так и подро построена. То есть какой кадр, кто в кадре, прозрачный фон, какой стиль. Вот это мы получаем на выходе. Это как превьюшка. И сохраняется оно в папку Output в Conf UI. Вот в таком формате. Оно сохраняется в формате ZIP. Давайте, давайте извлечём его сюда. И что мы видим в этом ZIP архиве? Мы видим там этого персонажа. Это просто набор пнггэшек. Просто набор пнгшек с прозрачным фоном. Соответственно, вы эти пнгшки можете использовать как-нибудь сами по своему усмотрению. Можете, э, просто это игнорировать и сделать небольшие надстройки workflow. Какие именно, показываю. Но сначала должен понимать, как это работает и что откуда выходит. Вот когда у нас вот здесь вот всё вот это вот прошло и из сэмплера у нас выходят вот эти вот две пурпурные линии, это вся необходимая нам информация, которая идёт в декодеры. Декодеры нам сделают, вот этот декодер делает RGB версию, а этот декодер делает версию альфаканала. Вот здесь я пока наглядно показываю. Вот это у нас альфа, то есть маска получается, а это RGB версия. Но она типа как на каком-то фоне. Естественно, у нас на выходе пнгшки, они на прозрачном фоне. Поэтому, чтобы использовать это видео, нам нужно либо пнгшки схлопнуть обратно в видос, неважно, как вы это сделаете, видеоредактором илипегом, пофигу, их нужно схлопнуть в один видос. Ну, если вы хотите работать с видео, вот просто картинки, пожалуйста, тоже можешь закинуть. Мы можем сразу прямо в Кофе UI положить наши пнгэшки на, например, зелёнку. Вот чтобы получить вот такой результат и сразу его сохранить в MP4 и как бы с ним работать. Для этого мы вот здесь вот чуть-чуть добавляем магии. А именно, мы добавляем вот эти 1 2 3 4 5 пять нот. Что они делают? Первое, мы получаем с RГБ канала информацию о нашем видео, о ширине, высоте, количестве фреймов. Одна из основных нот вот здесь вот FL Image Blank. Она находится в пакеi F notes, то есть в менеджере пишем вот здесь вот customes manager, ищем F notes и устанавливаем. Или любым другом другим способом, которым вы сможете сделать подложку. Ну, типа я сделал так. Эта FNES как раз у нас отвечает за то, что у нас выставляется. Она генерирует нам просто картинку одного цвета. Цвет выставляется по коду красный, зелёный, голубой. Соответственно, 4244 - это а код гринскрина. Можно любой чёрный, белый поставить, какой угодно, с каким хочется работать. Дальше у нас вот эта нода нужна для того, чтобы повторить эту картинку, потому что эта нода делает всего одно изображение, а у нас видео состоит из кучи кадров. В данном случае у нас 33 кадра, и нам нужно 33 раза повторить эту картинку. Именно для этого нам нужна нода, которая будет делать вот этот image бач. Опять же, вот этот процесс можно собрать по-другому. Просто вот у меня он собран. Так. Потом мы всё это должны схлопнуть. Мы должны получить нашу маску, мы должны получить наш RGB вариант. То есть мы должны взять вот это, вот это и это всё положить на подложку зелёного цвета, за что отвечает, собственно, вот эта нода. И всё. И у нас результат получается вот такой вот. А, MP4 сразу на зелёнке. Можно вставить куда угодно, можно работать, опять же повторюсь, можно работать с маской сразу, можно вставить это, можно получить пнггэшки. Инструмент на самом деле получается очень интересный. То есть ты можешь генерить себе прямо отдельных персонажей, которые будут на гринскрине или там пнгэшками с прозрачным фоном, и ты можешь там их располагать на экране, как-нибудь что-нибудь такое делать. Ну, короче, а великий простор для творчества видеоредакторов подвезли. И я считаю, это хорошо. Нейросети развиваются, видеомодели развиваются. Я не буду выкладывать этот workflow, а с добавками вот этими всеми. Ну, типа зачем? Потому что это просто базовый workкflow с небольшой надстройкой сверху. А, но если вам очень надо, можете написать в комментах там типа пожалуйста, пожалуйста, чтобы я обновил описание видоса и положил туда этот Word. Ну, я не думаю, что это прямо очень надо. Потому что здесь, ну, всё максимально просто. И ещё раз напомню вам, что можете поддержать мой канал небольшим пожертвованием, которое которым я буду оченьочень рад. Спасибо, что досмотрели до конца. Генерируйте с нами, генерируйте, как мы. Генерируйте лучше нас. С вами был и я, генератн. Не прощаемся, потому что мы ещё обязательно увидимся. Покеда.