YouTube to Text Converter

Transcript of 2.5D AI Generator | Wan2.1 + Unreal Engine + Blender

Video Transcript:

[музыка] Всем привет, дорогие друзья. Недавно я сделал небольшой пайплайн для генерации персонажей и объектов, которые можно интегрировать в Unreal Engine. Эти персонажи и объекты являются 2D изображениями, которые с помощью отдельных карт и масок, а, становятся похожими на 3D изображение, но, скорее всего, под один какой-то ракурс. Возможно, как-то что-то изменится, но пока только под один ракурс. Соответственно, что у нас есть? Мы можем генерировать персонажей анимированных или эстетичных, в принципе, неважно. Также мы можем, да, какие-то объекты эстетичные делать. То есть карта глубины позволяет нам, да, сделать ей какой-то объём. Плюс карта нормали, плюс альфа-каналы и так далее. Ну, соответственно, можно делать и деревья, в принципе, можно делать и какие-то вещи типа огня, взрывов и так далее. Но об этом мы поговорим позже. Итак, рассмотрим наш workflow. У нас здесь будет их два. А первое будет для анимированных персонажей и объектов, и второе будет для статичных. Сейчас покажу, зачем и почему они в разных workкflow находятся. А начнём с первого, с анимированного. Здесь у нас будет вылазить вот такая вот ошибка, но не обращать внимания, ни на что не влияет. Просто там в одной ноде забыл поменять свойства. А, итак, посмотрим. у нас, а, первый workкlow для анимированных персонажей, объектов. А, соответственно, здесь у нас есть, а, шаги, то есть, у нас есть первые - это вот генерация видео. Дальше мы генерируем маски для этого видео. А, и здесь, в принципе, наша работа заканчивается. Соответственно, у нас здесь есть ещё третий вариант. А, но по факту они вот эти вот эти два этапа, это одно и то же. Просто оно в разный к разному виду приводит итоговый результат. То есть здесь он генерирует маски и запаковывает их во флипке. Это такие штуки. Сейчас я покажу. У меня здесь, наверно, нету. Ну, в общем, это сейчас попозже просто посмотрим, как они выглядят. А он запаковывает просто секвенцию нашу, да? То есть а он берёт вот это видео, которое у нас здесь есть, а он разбивает его по кадрам и, соответственно, каждый кадр, то есть одно одной картинкой всю секвенцию кадров вот так вот по очереди выстраивает. Это называется Flipbook. используется врежине и ещё где-то используется, скорее всего. А дальше у нас есть генерация масок и секвенции. То есть в этом случае мы всё это пакуем в эти флибуки. В этом случае просто секвенции получаем. Просто у них там, скажем так, под капотом чуть разный алгоритм, поэтому я их отделил в разные в разные этапы. Ну, соответственно, у нас здесь всего два этапа. Первый этап, мы генерим видео, которое нам нужно. Второй этап, мы генерим для него маски и запаковываем либо флибуки, либо сохраняем секвенции. И, соответственно, что у нас здесь есть в первом нашем блоке? В первом блоке, что нам нужно будет, а, чтобы генерить в целом я практически всё, наверное, всё, что не нужно, спрятал. А что? Потому что, если мы здесь включим наши, да, связи, откроем вот это вот всё, а здесь мы, ну, там, в общем, под капотом ещё несколько там нот. Всё это очень-очень много всего, очень непонятно. И тем, кто с Кофui особо не работает, а, я думаю, им это вообще не надо будет. И для удобства я просто всё поскрывал. Кому надо, может там полазить внутри, посмотреть, какие там ноды, где там что, куда, что идёт, пересобрать там под свои нужды и так далее. Ну, для, скажем так, среднего человека, который вообще в Ком особо не лазил, я думаю, так будет проще. Итак, что у нас здесь есть? Основные какие-то параметры, да? Основные параметры здесь, соответственно, это промт. Это главный промт. То есть мы говорим, девушка стоит и пританцовывает, да? Ну, вот видим. А, и второй промт - это добавочный промт, чтобы каждый раз вы не писали. То есть вам нужно сгенерировать там сколько-то там персонажей каких-то, да? То есть там девушки танцующие, ещё там что-то. И чтобы каждый раз вам не вводить вот это вот, то есть во весь рост помещается в кадр на белом фоне, камера статичная. Просто я сделал кастомную ноду, которая здесь будет просто добавочный промт. В общем, в целом а вы можете либо сюда вообще ничего не вводить, если не надо, если нужно что-то такое шаблонное, можете здесь выставить, и оно будет у вас здесь. А тут вы просто будете постоянно менять основной промт. А в целом, что здесь ещё есть? А здесь есть ещё здесь вою. Вот это вот семь. Что такое семь? Семь - это шаги или итерации, как они называются. Это шаги генерации видео. То есть я бы советовал ставить не меньше пяти. Если у вас какие-то подвижные вот, э, такие анимации, лучше ставить побольше. Генерация будет дольше, но качество будет лучше. То есть, чем больше у него проходов, тем лучше он справляется с какими-то рывками, быстрыми дёрганиями там, ещё чем-то, то есть какой-то быстрой анимации, потому что, видимо, чем больше шагов, тем лучше он интерлирует от кадра к кадру. А вот и, соответственно, чем меньше шагов, тем он делает это хуже. Для каких-то более-менее плюс-минус статичных кадров можно ставить меньше, там, ну, пять. Меньше пяти не советую, там всё плохо будет. На пяти тоже не всегда прямо хорошо, но зачастую пяти хватает. Но у меня обычно стоит примерно семь. Дальше у нас здесь идёт длина видео. А она идёт у нас в кадрах, то есть не в секундах, в кадрах. То есть 50 кадров, да. И если мы здесь вот у нас в видеокомбайне собирается, да, допустим, вот с такой вот фреймрейтом, да, то есть это уже кадры в секунду идут. То есть мы понимаем, что если там 50 кадров, то 30 там это будет сколько? 15торы секунды. Но здесь не совсем всё так просто, потому что здесь есть ещё интерполяция кадров, которую я тоже сюда воткнул. Для чего она нужна? Для того, что по по умолчанию ван генерит у нас 16 кадров в секунду. Там можно выставить больше, но а бывает такое, что, во-первых, он генерить будет намного дольше, то есть там больше, чем в два раза, наверное. А и соответственно э будет со скоростью анимации тоже там иногда бывают какие-то проблемы. То есть 16 он генерит стабильно, как бы, да, понятно, что, а, плюс-минус всё нормально будет, да, если ставить больше. Просто у меня часто было, что там с анимацией какие-никовыщем какие-то проблемы были, поэтому я решил здесь просто сделать интерполяцию, которая, в принципе, дешевле по производительности, быстрее считается и, в принципе, неплохо работает, да. То есть мы можем видеть, ну, до 30 кадров в секунду вот интерполно оба видео. Вот. А, в принципе, нормально выглядит. Итак, интерполяция кадров. Если она вам не нужна всё-таки и вы хотите в 16 кадров в секунду это делать, не знаю, правда, зачем, но вдруг вам пригодится. Вы просто можете нажать это вот значок, да, это называется Bypass или Ctrl B. То есть в английской раскладке обязательно это делать, а нужно нажать просто Ctrl B, да, либо вот этот вот значок. Здесь, в принципе, подписан обход а какой-то ноды. То есть у вас цепочка будет выполняться без исполнения вот этой ноды. То есть, но если вы её уберёте, вам нужно здесь будет во фреймрейте поставить 16 стандартное количество. Ну и, соответственно, если вы здесь поставите 16, то, а, за надо будет считать, а, время, да, длину видео по времени, то есть исходя из количества кадров, которые у вас здесь есть. То есть 16 в секунду и, соответственно, 50 - это вот сколько-то там будет секунд. Просто помните об этом, что здесь интерполяция, поэтому здесь стоит 30. Вот. Но сам ван всё равно, то есть, да, нам надо понимать, что под капотом он всё равно генерирует в 16 кадрах в секунд. То есть вот эти вот длина 50, то есть 50 кадров. И а оно генерируется в 16 кадров в секунду всё равно, да? То есть она уже после этого интерполируется и до тридцати, да, там, кадров в секунду. И здесь мы уже там выставляем 30, потому что чтобы у нас вот здесь оно собиралось корректно. Соответственно, что у нас здесь ещё есть? У нас здесь ещё есть ширина и высота видео. Ну, это как бы стандартное такое значение. Здесь я бы не советовал слишком большие значения ставить именно для генерации видео, для генерации картинок, которые потом тоже покажу. А там, в принципе, можно большие ставить, относительно большие, то есть там Full HD спокойно можно там поставить, он сгенерирует довольно быстро. Но в генерации видео я бы не советовал очень большие значения ставить. Ну, если у вас, в принципе, нормальная карта и много памяти, то в целом нормально можно, в принципе, будет ставить. У меня карта 3060. Ну и в целом для моих задач слишком большого разрешения и не требуется. А также хочу напомнить, что если вы поставите очень маленькое разрешение, то, соответственно, лица ваших персонажей начнут корёжиться сильно. Они как бы здесь не идеальны, соответственно, да, потому что у нас, в принципе, разрешение тоже небольшое, но а чем а чем меньше по соотношению, да, лицо персонажа, по соотношению с со всем кадром, то есть если оно здесь крупно, оно будет всегда хорошо генериться, как бы с этим проблем нет. Если оно маленькое в кадре, да, то есть по соотношению с самим кадром, то, соотвественно, чем чем чем оно меньше, тем а хуже будет генериться лицо. Ну, это как бы всегда так, что фото, что видео. Вот, в принципе, здесь нас особо больше ничего не интересует. Я могу только сказать, что я здесь добавил переводчик, потому что для таких, как я, кто не знает английский или у кого с ним очень плохо, чтобы не лазить постоянно, да, куда-то в переводчики, чтобы сюда что-то писать, он здесь, в принципе, встроенный. Если он вам не нужен, можете вот так вот сделать, открыть вот эту штуку, вот, нажать сюда, и здесь вот написано, да, Russian English. Rion меняете тоже на English. И в целом он у вас, в принципе, ничего переводить не будет. Можете на английском писать, но как бы мне это не нужно. Если нужно будет сами отключите. А в целом здесь всё. А следующий блок у нас идёт генерация масок. Я сейчас сразу скажу, а как здесь в принципе работать. То есть вы ввели промт, да, ввели там добавочный промт, выставили здесь все значения, какие вам нужны. А, и а вот если вы в этом блоке что-то делаете, да, то вот эти все остальные блоки у вас должны вот таким цветом быть. Как это сделать? Это с контролом, да, мы вот это всё выделяем и вот здесь нажимаем вот это вот, которую я говорил, bypasпаs. То есть он будет обходить эти ноды. Он их не будет включать в процесс просчёта, соответственно. А вот, то есть мы вот так нажимаем. Вот мы открыли, так мы скрыли. То есть всё, что у нас таком фиолетовым цветом, это значит, что оно не будет работать, когда вы нажмёте запустить. И, соответственно, когда вы работаете здесь, вы один блок запускаете, да? То есть вы работаете в этом блоке, он у вас открыт, потом вы его скрываете, соответственно, либо Ctrl B, да, выделяете всё с Ctrl, вот так нажимаете Ctrl B, либо вот сюда нажимаете. Вот вы его выключили, вот этот блок, и включаете другой блок, в котором следующему будет работать. Либо этот там, либо этот, допустим. Ну, и, соответственно, вот мы, допустим, сгенерировали какую-то девочку. Мы здесь можем в папке, да, увидеть, вот, вот она, мы её здесь выбираем, соответственно, уже сюда. Вот. И здесь что? Здесь, в принципе, особо настроек каких-то каких-то особенных нету. Здесь в основном на что здесь есть количество колонок. То есть, а, это количество колонок флипков. Фliп - это вот такая вот штука. То есть у нас вот вся секвенция, да, которая у нас отсчиталась, она у нас упаковывается вот в одну такую картинку, да. А, и количество колонок - это, соответственно, да, вот количество, сколько у нас здесь вот есть колонок. То есть мы указываем только количество колонок, количество строк он просчитывает сам. В принципе, как-то так. То есть вот у нас, да, он будет здесь отображаться. У нас вот эти маски вот здесь вот, когда они уже сгенерируются, они вот здесь будут отображаться. То есть вы поймёте, что они сгенерированы. Ну и, соответственно, количество колонок вот у нас стоит здесь 20. качество срок, как я и сказал, строк, как я и сказал, он прочитает сам. Здесь ещё есть процент разрешения каждого кадра, для чего он нужен. То есть, а, каждый кадр, то есть, когда он нас упаковывает вот сюда во флибук, да, у нас, а, есть такая штука, что вот сейчас он в а у нас стоит там, да, 100% разрешения, то есть, да, вот здесь процент, это проценты, а, 100% разрешения, то есть каждый кадр у нас вот с каким разрешением мы его здесь вот, да, сгенерировали, то есть 800 на 400, то есть он будет упаковывать также. То есть он будет упаковывать 800, да? То есть каждый кадр будет 800 на 400 и, соответственно, вот сколько у вас там кадров, а он будет умещать. И, соответственно, разрешение, сами понимаете, а чем больше у вас длина, да, видео, тем больше здесь кадров, тем, соответственно, больше разрешение будет у всего вот этого флипка, то есть у вот этой вот картинки. Вот. И сами сами уже оцениваете, насколько вам нужно, да, м выше качества и так далее. Надо понимать, что Unreal Engine тоже там, если не ошибаюсь, до 8К он всё это, а, принимает, а после он, по-моему, всё это автоматически всё равно до 8к, по-моему, сжимает. То есть больше 8к всё равно у вас там не получится. Ну и, соответственно, для этого есть вот такой параметр. Здесь вы просто указываете его меньше, допустим, 50%, и у вас каждый кадр будет меньше на 50%, и, соответственно, разрешение самого Flipbook тоже будет меньше. Ширина и высота. А что это значит? А это значит, то есть вот здесь у вас вот эта ширина и высота, а это параметры видео вашего, да, которого вы сгенерировали. Соответственно, когда вы здесь всё вот это вот в секвенции уже делаете и запаковываете потом во флипке, у вас каждый кадр всё равно будет пересчитываться вот под вот эти вот параметры. То есть желательно их задавать одинаковые, что здесь, что здесь. Но иногда бывает так, что нужно здесь изменить разрешение и, соответственно, потом всё это запаковать. Поэтому здесь, в принципе, вот ещё раз выведены вот эти параметры уже для генерации масок. А, в принципе, здесь больше особо ничего нету. Мы сейчас ещё здесь посмотрим вот этот блок. Здесь практически то же самое всё, все те же самые параметры, за исключением того, что здесь у нас всё это не во Флибуке пакуется, здесь просто секвенциями пнгшными. То есть, да, мы потом заходим в папку sequences, и здесь вот наши секвенции будут. То есть просто количество, да, кадров, которые у нас было, вот оно пересчиталось здесь покадрово. Забыл уточнить один момент. здесь, э, для того, чтобы у нас вот эта анимация хоть как-то была зациклена, да, потому что анимации у нас здесь короткие, можно, конечно, длинные, если вы там секвенциями, если вы где-то в 3D-пакете и вам неважно, потому что изначально я всё это делал для unреalнг и для реалтайма, соответственно, чтобы это всё было по производительности дёшево, а вот не сильно нагружал систему и так далее. Но, в принципе, если вам надо, вы можете загрить там длинное видео, допустим, и убрать здесь вот этот пин-понг. То есть пинпонци значит это означает, что у вас видео, когда сгенерировалось, вот здесь вот собирается, да, если вы отключите, а при генерации у вас, получается видео дойдёт до конца и резко начнётся сначала. А здесь же, когда он включен, да, если у вас какие-то там такие действия простые, как здесь, то, в принципе, вот она доходит до конца видео и в обратную сторону идёт. И, соответственно, у вас собирается вся секвенция, так что она у вас, в принципе, бесшовная практически. Ну, не для всех случаев это подходит, соответственно, но по идее для большинства простых каких-то подойдёт. Просто помните об этом вот пинг-понг здесь можно отключить. В принципе, мы здесь всё посмотрели, особо больше добавить нечего. Если кому надо поковыряться, вот здесь вот самая главная нода, которая тут есть, да, можете её открыть. Здесь тоже очень много всего, но проще будет смотреть, если вот так вот сделать convert notes и, соответственно, здесь посмотреть, что здесь есть. Да, там удаляем фон, карты, карты глубины и так далее. То есть кому кто хочет, может поковыряться. Ну и Fliбуbook пакеer - это вот кастомная нода, которую я навайп-кодил, так сказать, вот которая просто здесь нужна была. Ну про ошибку я уже говорил. Может на неё особо не обращать внимания, ни на что не влияет. Дальше посмотрим на второй Workflow. А он, в принципе, плюс-минус всё всё то же самое, но здесь кое-что по-другому пересобрано. Но особо отличий здесь тоже не сильно много. А, допустим, здесь всё то же самое. Здесь у нас, а, есть промт, есть добавочный промт, а, тоже количество шагов. И здесь длина видео стоит один. А потому что мы здесь генерим не видеост, мы генерим просто изображение, да. И поэтому вот здесь, ну, вот здесь давайте мы, наверное, поставим какое-нибудь такое вот, допустим, вот такое вот ширину и высоту. Ну, пусть просто вот мыдём, допустим, какое-то дерево, да? Что у нас здесь получается? Здесь тот же самый one 2.1, как и там, тексту видео, но только что мы сделали, мы здесь длину в кадрах поставили один. Соответственно, ему нужно сгенерировать всего лишь один кадр, то есть изображение. По факту можно было бы, конечно, какие-то кастомные сборки, которые кучу в интернете сейчас появилось, тоже на ване там делают какие-то там добавочные лоры и там ещё что-то. Но для вот этих задач я понял, что просто не нужно. Не хотел нагромождать всю вот эту цепочку, потому что, в принципе, это генерит довольно быстро. Там шагов надо немного. Ну и довольно хорошее изображение не получается. Ну вот какое-то такое вот дерево, да, у нас получилось. Вот. Ну и, в принципе, здесь всё то же самое. Здесь мы также скрываем вот это всё. Здесь мы открываем вот это всё тоже на Ctrl B либо на вот эту кнопку. Вот. И здесь у нас, в принципе, то же самое. Тоже разрешение здесь мы задаём. То есть, если мы там переставляли, здесь лучше тоже переставить на такое же. Вот. И, соответственно, мы её установили. Здесь мы выбираем файл. Он у нас лежит вот туда. Выбираем, да, наш файл. И что мы дальше делаем? Мы просто нажимаем запустить. И надо будет немного подождать. Ну и, соответственно, у нас здесь появятся маски. Они, так как у нас всё это статичное, никаких флебуков и так далее, нам ничего не надо, потому что здесь просто будут четыре картинки по итогу. То есть у нас карта глубины, там карта нормали и альфа канал. Вот оно всё это мо может здесь выглядеть в принципе страшно и казаться, что как будто что-то не очень. Но на самом деле, в принципе, она неплохо работает. Хотя я не могу сказать, что это прямо идеальные карты, да, тут видно, но в целом здесь их, в принципе, хватает. То есть в материале где-то в Анриле или там где-то в вашем 3D-пакете, е, там можно что-то доработать и так далее. Вот. Ну, также самый главный блок - это вот здесь. Ну, в принципе, всё, всё то же самое, как там. Здесь за исключением каких-то некоторых параметров. Половина здесь что-то повырезано, а, ну, то, что не нужно. Ну, и всё, как бы в целом. Здесь больше ничего особо нет. У нас, получается, в нашей папке у нас будет, мы зайдём output static. Ну, вот она, Maps, папка, да. И, соответственно, вот у нас там, да, четыре четыре картинки, да, которые мы потом уже подсовываем либо в Unreal Engine, а, либо там куда-то в 3D-пакет, куда вам будет нужно. В принципе, здесь особо больше показать нечего. Сейчас мы, наверное, пойдём в Adre Engine, и я покажу уже материал, который я там сделал, и, в принципе, как им пользоваться. Итак, у нас будет прилагаться здесь ещё такой небольшой проект для Анринджена, ну, где вы можете посмотреть всё полазить и взять материалы, мастеры, если кому нужны будут. Ну, соответственно, вот наши дамы нагенериённые. Они здесь у нас все в зацикленном каком-то положении находятся. И здесь мы, в принципе, можем видеть, что как это реагирует всё на свет, да? То есть, в принципе, более-менее нормально. Пока не идеально, но в целом на данный момент пока всё, что есть. И, соответственно, есть ещё одна схема цвета, света. Вот. И здесь всё как бы, да, у нас реагирует. То есть мы можем какие-то контро какой-то свет сделать, да? То есть видим, складки все реагируют. То есть в целом, в принципе, более-менее не 3D там, но 2D какой-то есть. Просто как мы можем это использовать? Мы можем там кучу народу, да, нагиерить, какую-то толпу где-то стоит там и так далее, ну или какие-то штучные там. То есть, в принципе, для каких-то задников где-то, может быть, даже для среднего плана там на разблюре, то есть, а для заполнения сцены как будто бы неплохой вариант. Также мы можем, да, посмотреть, что у нас здесь есть. Для этого мы сейчас откроем наш материал, [музыка] допустим. То есть если мы посмотрим, да, сбоку, мы видим, да, что у нас всё вот вот такое вот, да, ужасное. Поэтому, а, для, а, скажем так, для выставления всего этого под кадр, а, в принципе, нормальный вариант, но надо понимать, что это всё нужно делать под какой-то определённый ракурс, что сбоку там где-то вы, соответственно, ничего особо не получите, но для какого-то вот такого кадра там, то есть в лоб, можно сказать, да, ну, особенно какие-то, если деревья, вы их можете там фольяжем раскидать, чтобы они смотрели в одну сторону, да, там, допустим, на камеру и для дальняков там очень сильно сэкономить на ресурсах компьютера. Вот, вот такой у нас материал. А что нам здесь, в принципе, будет нужно? Сейчас мы с вами, наверное, сделаем новый уровень создадим какой-нибудь. Ну, как-то так. Вот. И здесь мы с вами в папке ш. Здесь просто ш он засабдивенный. Вы можете там свой использовать любой, но просто для тестов я сразу сделал такой и засобдивил и чтобы просто удобно было. Вот. Ну и вот у нас есть какой-то плейник обычный. И, соответственно, у нас есть вот мастер материал. То есть мы берём от этого мастер материала, создаём instance, да, как-то там его называем, как нам надо, и, соответственно, просто накидываем сюда, да, и мы, в принципе, видим, что у нас уже вот какой-то мужчина здесь важный есть. Вот. И что нам для этого надо будет сделать для того, чтобы свои текстуры подкинуть? В принципе, это открыть и материал и вот здесь вот повыбирать вот это вот всё, то, что мы будем заменять. И просто в инстансе, допустим, мы возьмём, ну, что-нибудь, ну, вот какую-нибудь, да, такую. И, соответственно, мы здесь просто берём альфу, перекидываем сюда. Close mask, color, def, normal. Вот. И видите, да, у нас что происходит? Вот такая вот фигня. Как это решить? А, в принципе, всё очень просто. У нас здесь есть специальные параметры выведены для этого, да, Frebook Parameters. Вот мы сделаем вот так вот. И сейчас мы зайдём в папку с этими флипками, которые мы сюда закидывали. Даже, наверное, мы вот так сделаем. Вот. Единственное, что нам здесь нужно будет, а это понимать, сколько здесь у нас строк. То есть, да, сколько кадров у нас в строке, сколько кадров у нас вот здесь. То есть мы посчитаем типа 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20. То есть 20, да, у нас 1 2 3 4 5 6 7 8 9 10. То есть 20х 10. И что нам нужно будет ещё? Надо будет посчитать, сколько у нас вот здесь вот пустого места, да? То есть 1 2 3 4 5 6 7 8, да? У нас восемь пустых мест. То есть 20 на 10 и восемь пустых мест. Просто запоминаем это. И здесь у нас в материале мы всё это забиваем. То есть, а, empty frames - это вот пропущенные кадры. То есть сколько у нас? Восемь, да, их. То есть, но мы пишем девять, потому что у нас видео зацикленное было. У нас первый последний кайдр - это одно и то же. Соответственно, мы пишем здесь на один больше, то есть девять. Вот. И здесь мы пишем, получается, у нас было сколько? 20 на 15, вроде, да? Нет, сейчас это FPS. Вводим 30, потому что у нас было 30, здесь 20. [музыка] Сейчас, по-моему, наоборот. [музыка] 20 на 10. Да, точно, перепутал. Вот нам нужно просто ввести количество, вести, сколько пропущенных кадров там будет, да? То есть, если вы генерите их прямо пачкой, то, соответственно, они у вас все будут одинаковые. Вам нужно будет только один раз это ввести и потом просто клонировать этот инстанс материал и туда вставлять. То есть, если если у вас там длина видео не меняется, то есть количество кадров, то и поковали вы всё подряд, то, соответственно, у нас всё будет нормально. Можно всё один раз вести. Вот. Не очень удобно, но пока автоматизации не подвезли никакой сюда, поэтому как есть. Вот, соответственно, у нас здесь есть какие-то параметры, а, subsvef, но здесь он особо не пригодится, но иногда, кстати, тоже его можно использовать. Вот. И, в принципе, у нас всё готово. То есть у нас есть какой-то персонаж, да, или какой-то объект. Свет на нём уже, в принципе, работает. Вот. Но что нам для этого ещё нужно будет сделать? [музыка] Во-первых, а параметр Flatness мы поставим на ноль, потому что у нас карта нормали вывернута, потому что генерирует у нас в кофui этот модуль именно вот так, да. Соответственно, мы его перевернули обратно и видим, да, что у нас свет правильно отображается с правильной стороны. Вот. И идём дальше. Что у нас здесь ещё есть? Здесь у нас есть карта использование карты глубины, да? То есть, которыю мы можем, допустим, поставить там на 20, на 30, да? И мы видим, что у нас персонаж становится чуть более тридэшным, да, скажем так. То есть у неё появляется объём, то есть, да, особенно в местах вот от руки уже есть какие-то тени, потому что у нас эта часть подвыдавилась, да, и мы уже можем что-то такое наблюдать здесь. Да, это всё, естественно, не идеально, да, но а в принципе во многих случаях оно работает. Но опять же, да, если мы посмотрим тут, мы как бы видим вот это вот. Но для каких-то, как я уже говорил, ракурсов, да, определённых, в принципе, это нормально работает, а потому что свет и всё остальное, ну, как бы отрабатывается хорошо. Пока нет отражений. Хочу потом сделать ещё PBR. Вот. Но пока ничего этого нету, но хотя бы работает свет более-менее. Вот. Что у нас здесь ещё есть? А, совсем забыл сказать, когда мы были в Комфе, э, там у нас генерируется карта, а, скажем так, типа ID-карта для одежды, да? То есть, а, мы можем, а, менять, допустим, цвет или что-то, да? Вот у её, ну, она он у неё чёрный, да, но мы можем, в принципе, менять цвет одежды. Может быть, да, там светлее её сделать. Может, вот так мы её сделаем, допустим, такую вот перекрасим. Вот. Ну, то есть там есть генерация карты одежды. А кто хочет там залезть туда, а можете посмотреть. Там есть варианты ещё генерировать карту лица, а обувь. То есть там есть отдельные элементы одежды, прямо можно сделать. Просто это более такое что-то универсальное сделал. Вот. Но вы можете, в принципе, там поковыряться, там, ну, много можно всяких масок сделать и также их потом добавить сюда в материал. Вот. Ну и, соответственно, а здесь мы всё вот это вот можем как-то кастомить, да, этими масками, допустим. Соответственно, здесь у нас параметры color, да, это у нас уже color всего, то есть не только этой маски, а вообще, то есть и кожи, и всего остального, да. И, соответственно, эти все параметры мы также можем регулировать также там, да, мы можем её шреком сделать. Вот. И, а, в общем, поковыряйте сами, посмотрите. Здесь довольно простые параметры. Вот, как говорил, параметры - это чисто параметры кадров, частота кадров, пропущенные кадры и всё, что с этим связано. А subсрf у нас есть. В этом случае можно его использовать. Он создаёт такой небольшой эффект, скажем так. То есть без него, если мы его выключим совсем, да, у нас слишком вот всё чёрное. Вот. Но он создаёт такой эффект, как будто бы такого, ну, то есть SS это есть, да, под поверхностное рассеивание, но в этом случае его можно использовать как скажем так, имитацию глобал иллюминейшна какого-то, то есть переотсков до света, да, что у вас не будут тени такие чёрные. Поэтому, в принципе, можно, да, использовать, если мы видим, да, разницу. То есть, если мы просто её включим, уже более мягкие какие-то, да, вот эти тени. Ну, в общем, это тоже, в принципе, можно использовать. Я её не стал убирать, оставил тоже на персонажах. Вот, можно использовать. Если нужно, можно и миссии ещё подсветить. То есть мы можем включить, да, у нас эмиссию. И здесь у нас подсвечивать ещё вот так. То есть она будет эмиссивная. Вот. И, соответственно, у нас будут слишком тёмные какие-то участки. Также можно посвечивать, но это уже кому надо. Вот можете тоже так делать. Вот. Соответственно, мы можем как-то карту нормали ещё подкручивать, побольше, поменьше выдавливать, выдавливать. Вот тут же как смотрите сами. Но ставьте на ноль, потому что она у нас вывернута, та, что у нас генерится. Итак, что у нас ещё есть? Здесь ещё есть маскон. Это я делал маску для головного убора, но так как у нас её здесь нету, поэтому включать её смысла нет. Вот. Но если вы будете какие-то ещё, в принципе, там любую можно маску подсунуть сюда, можете её там переназвать как-то по-другому. Можете их несколько ещё сделать. А, в принципе, без разницы. Сейчас мы мастер материал посмотрим. Я, в принципе, покажу, где что находится. А что здесь ещё есть? Здесь ещё есть параметр опасти, которые иногда нужно подкручивать, да? А почему? Потому что вот эти вот края бывают иногда какие-то там белые или ещё что-то вылазит, да? Нужно будет вот так вот немного подкручиваю, чтобы их просто убрать. Ну здесь, в принципе, более-менее нормально, поэтому поэтому нормально. Вот. Ну и, соответственно, здесь просто есть спекулер стандартный, да, но в этом случае я бы не советую оставить, потому что, ну, может быть, там на 0 и так как-то так. Вот, может быть, ну, в этом случае нету пибра, поэтому эти параметры я бы в целом выставлял в ноль и игрался бы только светом и какими-то корректировками. Вот, в принципе, здесь больше ничего нету, да? То есть мы здесь можем какие-то маски кастомить, можем добавить их много там на лицо, там на на отдельно там даже на руки им можно добавить, на волосы, там, на что угодно. То есть можно, в принципе, если вы какое-то себе там собираете что-то конкретное, то может там кучу масок навыгонять, а также их надо добавлять. То есть вот маско вот и здесь вот добавит ещё одна маска. Вот. И в мастер материале можно будет сдублировать эту штуку и на сколько масок вам нужно. Поэтому сейчас я покажу. Давайте сразу зайдём вот сюда. Мастер материал. Он, в принципе, простой довольно. Вот. Здесь что у нас есть? Здесь у нас есть вот эти Close Mask, да, и ещё одна Close Mask. Ну и одна вот эта маска, которая была просто дублированная. Вот. Вот она. Head mask там была от другого персонажа, да, от чувака в каске, от вот этого вот. И у него отдельная маска была на его эту шляпу. Ну, соответственно, здесь настройки цвета. Здесь у нас вот эти настройки флипков. Вот они сами флипки. Сюда подсовываются у нас, кстати, текстуры. Вот. То есть, но здесь, что вам может понадобиться? Ну, скорее всего, вам нужно будет, возможно, понадобится больше вот этих масок. Можете просто всю штуку сдублировать, да, допустим, сюда. Вот. И также вот сюда повставлять и выгнать её дальше сюда. Ну, то есть кто в материалах, я думаю, более-менее понимает чуть-чуть, вот, я думаю, поймёте. Тут просто сдублировать эту штуку. Вот, возможно, в следующих апдейтах, так сказать, всего вот этого я просто сделаю сразу их много и просто их повыключаю. Вот. Ну, в общем, кому нужно будет, напишите. Вот. Я помогу, если что сделать в целом. Вот. А, собственно, здесь особо больше ничего нету. Ну, довольно простой материал. Здесь всё работает. Вот депмаска, которая, да, маска глубины здесь. Ну, здесь всё, в принципе, довольно простой материал. Я думаю, я даже не знаю, здесь особо объяснять-то нечего. То есть мы у нас берётся наша деп-карта чёрно-белая, она у нас здесь подаётся сюда во флибук, то есть крутится постоянно. Вот. Дальше у нас есть какой-то контраст. Мы ей задаём в регулировках, там будем задавать. Вот в инстан здесь мы говорим, что vertex normal это умножаем на vertex normal. говорим, чтобы он выдавливал только по нормалям нашего плейника, потому что у нас плейник. Вот. И дальше просто интенсивность, то есть насколько мы сильно выдавливать будем. Ну как бы вот всё вот SSS Ну да, я его, можно сказать, тоже можно использовать и на персонажах, но больше он там, конечно, для деревьев пригодится. Вот. Ну или для каких-то таких штук. В целом всё. Здесь больше особо даже и сказать нечего. Если вам надо будет, я думаю, сами тут что-то закостомите. Ну и мне кажется, здесь всё, что можно кастомить, это просто количество масок добавлять. Мне кажется, больше особо там делать и нечего. Вот. А в целом вот так как-то у нас здесь с персонажем. И что здесь ещё можно посмотреть? Здесь ещё можно посмотреть наши деревья, да? Вот. То есть, э, в принципе, вот она как работает. То есть по цве цвету понятно, можно всё подкорректировать там и так далее. Вот. Но уже какие-то тени есть уже они как-то поживее выглядят, чем просто статичные, да, какие-то плейны. Вот. И как-то уже более-менее отрабатывается на них свет. Вот. То есть то есть уже можно их там раз расклонировать фольяжем. Вот. и уже нормально будет выглядеть, потому что они ещё друг друг на друга тоже тени отбрасывают. Ну, то есть в целом выглядит более-менее лучше, чем просто картинка. Ну, соответственно, здесь вот это у нас тоже всё это картинки. Если мы зайдём, посмотрим, то у нас это всё вот так вот выглядит. Очень страшно, поэтому лучше туда и не заглядывать. Вот поэтому здесь у нас, а, материал, в принципе, такой же, но я его сделал отдельно. здесь кое-что поубирал, потому что здесь у нас не флипки, а просто картинки. Он ещё проще, чем там. Вот. И, соответственно, здесь практически всё то же самое. Но здесь я не делал маски. Там есть нюанс. А пока с деревьями именно а маски там особо не угадываются именно, да, самой листвы. Вот. И я потом буду это переделывать именно для деревьев. Там какой-то другой модуль втыка скоре привёз в кофей. Вот. Но здесь, в принципе, всё то же самое. Также всё выдавливается. Ну, всё, всё, в принципе, то же самое. Вот. И по аналогии также берёте мастер материал, заходите в материал. Здесь будет вот э для деревьев. И также создаёте instance и запихиваете вот сюда свои карты, какие вам нужны будут. Вот. И в целом как-то вот так они работают. И здесь я уже, в принципе, показывал, да, вот эта глубина, можете её регулировать. А здесь ещё есть, ну, здесь стандартные, в принципе, настройки, то есть интенсивность, какой-то там контраст, да, и так далее. То есть какую-то вариативность можете задавать. Здесь, в принципе, всё вообще стандартно. Вот. Ну и флатнес, как бы, как я и говорил, от нуля в минус уходите, потому что на двойку там у вас будет она будет вывернута, потому что у неё там, по-моему, зелёный канал в другую сторону. Вот здесь что ещё есть? Здесь у нас ещё есть такая штука. Если у нас, допустим, сам плейник, а вот эта картинка, да, на плейнике. То есть мы, если мы посмотрим, куда мы посмотрим, вот мы посмотрим сюда, видим, да, вот у нас плейники стоят вот эти вот. И на этом плейне, а, соответственно, картинка у нас может быть сейчас я вот так сделаю. Вот. То есть она у нас сейчас он вроде как будто бы, да, внизу стоит, но если мы его так офсет выключим, то мы видим, что он у нас где-то летает, потому что, соответственно, объект у вас нарённый стоит прямо не на самом краю, да, вашей картинки, а где-то там может вообще в середине быть. Вот здесь есть такой офсет, которым мы можем отрегулировать. Единственное, что здесь будут повторения вот эти, но эти повторения просто отключаются в самих текстурах. Нужно будет поставить вот вот этот рамп поставить нам. Вот. И, соответственно, на этих текстурах, на всех поставите, а, и всё. То есть они у вас повторяться не будут. Вы можете спокойно её там двигать, обрезать и так далее. Вот. Повторяться они не будут. Вот, в общем, если что, здесь такой параметр есть. Вот. А также здесь есть SS, вот это, да, который я говорил. То есть без него как-то прям не очень. С ним уже более-менее что-то пободрее как-то выглядит. Вот, соответственно, что у нас есть ещё? Ну, здесь есть ещё со скульптурами, я думаю, тоже всё понятно. Как бы всё то же самое. PBR пока нету, но за счёт самой картинки, в принципе, как-то более-менее похоже, да. Вот. Ну и, соответственно, те же деп карта, которая нам даёт хоть какой-то объём помимо обычной нормалки, да? То есть, если мы вот видим, да, он у нас выдавливается буквально. У нас бок, конечно, выглядит страшновато, но всё равно она у нас как-то вот какой-то объём она нам даёт, опять же, да, для какого-то ракурса. Так, ну здесь, в принципе, больше тоже, наверное, сказать нечего. Здесь, в принципе, всё то же самое, что и там было. Также сюда просто добавляете, да, свои какие-то эти текстуры и всё. Единственно, сделаете свой. И в целом больше там ничего нету. Ну и ещё здесь со всякими фиксами, но пока пока этого не будет, в следующем, я думаю, обновлении, скажем так, всё-таки я сделаю эту штуку. Просто здесь немножко надо с ним поковыряться. Он чуть чуть-чуть посложнее будет в плане реалистичности. Ну то есть сейчас, в принципе, уже можно так как-то использовать. Вот. Но желательно бы сделать ему получше материал и повыгонять карты чуть по-другому. Вот поэтому это будет потом. Вот. Но в целом здесь как будто можно что-то уже с ним делать, да, какие-то манипуляции с ним выполнять. Вот. Ну то есть как-то так. Итак, дальше мы пойдём посмотрим блендер. Итак, мы в блендере. Соответственно, что нам здесь нужно будет? А, я написал на вайбкодел вот такой небольшой дон. То есть он имеет, в принципе, указание пути и одну кнопку. Что нам нужно будет сделать? Установить его просто как обычный adon. То есть, да, идём сюда. Вот он у меня уже установлен. Ну, здесь просто выберите install from disk. Выберите тот файл, который я приложу, и всё. А, и, соответственно, здесь, что нам надо будет сделать? Вот, скопирую путь. Вот. А, то есть мы здесь нажимаем просто вот эту кнопку здесь вот так вот. Ну, заходим в папку, где у вас лежат вот эти папки с секвенциями, да, то есть alpha, cl, mask, color, def, normal. Вот. И просто нажимаем выбрать. И здесь мы нажимаем вот так. Оп. Всё. Он сам создаёт у нас пйн. Идём в шейдинг. О, с прошлого проекта остался. Идём в шейдинг. Да, и у нас, в принципе, уже чувак работает. Вот. А единственное, что мы здесь поставим на 30, потому что у нас там было 30 кадров. Вот. И у нас вот такой вот материал. А для А у нас сразу здесь в стоке добавляется subdivision. Он добавляется для а карты дисплейсмента. То есть там мы выдавливаем это через world ofset, а здесь через displacement. Я пока не придумал момента решения вот этого момента, который сейчас я вам покажу. То есть он у нас накинут subdivision. Вот. И когда мы вот так вот делаем, то есть мы выдавливаем так же, как там, да? То есть, если мы сейчас как-то его вот так вот, допустим, выдавим как-то условно, да, она у нас дёрганная, плюс ещё с этой стороны не особо видно. Вот. Но а мы видим, да, вот вот такие вот проблемы. Я пока не придумал, как это решить, поэтому поэтому я пока его просто отключил. То есть по дефолту у вас будет просто она отключена. Вот. Ну и subбдивиision вы можете либо удалить, либо отключить. Там решить сами. Вот. Но он добавляется всё равно автоматически. Просто помните, что он у вас есть. Вот. И либо отключить, либо удалить его. Вот. Ну и здесь, в принципе, материал ещё проще. Вот. А здесь, в принципе, всё плюс-минус настроено относительно нормально, да? То есть если мы так на него посмотрим, на этого чувака, покрутим как цвет, да, и видим, что вот он у нас свещается. Можем другую карту выбрать. Да, вот мы видим, да, здесь всё работает. Вот. И здесь у нас маска нашей одежды. Мы здесь просто можем выбрать какой цвет и, соответственно, его перекрасить. Чувака этого вот. Можем вообще ему в чёрную. Вот. Ну и как как-то так. То есть мы можем его этой маской как-то вот управлять, кастомить это всё дело. Вот. Ну, если кому надо, вы можете уже там сами там материал допилить и так далее под ваши нужды. Но в целом какой-то условный функционал такой базовый здесь, в принципе, присутствует. Вот поэтому можно использовать всё это дело. В целом в Блендере здесь, в принципе, всё. Сейчас мы просто я вам покажу, как устанавливать всё это дело. Сам кофе, куда нажимать и в принципе всё. Итак, у вас будет архив, который будет называться вот так вот. Вы его просто распакуете в любую папку, без разницы, куда хотите, где у вас есть место, память. И желательно, чтобы вы установили это на SSD диск, а не на HDD, иначе будет всё очень долго, медленно работать. А поэтому советую на диск с хорошей скоростью. Вот. Итак, а в принципе здесь я вот такой ещё файл приложил, да. Здесь написано, да, вот распакуйте, а потом нажмите сюда, нажмите сюда. То есть, если что, можете здесь ещё посмотреть. Здесь файл, да, Redmi будет. Вот. А, но если так, то, в принципе, вот вы распаковали, у вас будет вот эта папка. Что вам надо будет сделать? Вам надо будет нажать два раза вот на вот этот, э, Bфайл Download Models, и у вас докачаются все недостающие, да, модели автоматически в папке, куда надо. То есть они всё это будет автоматом. Если вдруг по какой-либо причине у вас этот файл не запустится, не знаю, почему он не должен запуститься, но вдруг вот здесь есть ещё вот такой файл Links. То есть здесь все а ссылки на все модели, которые которых не хватает здесь. И, соответственно, здесь сначала пишется, да, его путь. То есть вот confui models, diffusion models. И, соответственно, сюда нужно закинуть два вот этих вот файла. Ну, если дальше clip vision, нужно вот этот файл закинуть. Ну, и в общем, так далее. Вот здесь, в принципе, все. То есть, если вы вот это вот всё закинете, у вас там никаких проблем не будет. Всё будет хватать, всё нормально. Но я не знаю, по какой причине у вас может не заработать этот файл. Короче, он у вас заработает. Просто нажмёте два раза и подождёте, пока он у вас всё скачает. Вот. Далее, то есть он у нас вот сюда вот в папку Models, во все вот эти папки сам там скачает откуда надо. вот эти все модели. Дальше, в принципе, здесь всё. Потом вы просто, чтобы запустить, нажмёте ран виде ГПУ, а подождёте, он у вас запустится. Вот. И надо помнить, что у вас вот здесь папка output. И здесь у вас всё будет сохраняться. То есть вы можете себе вот эту папку Outpus скопировать и, допустим, на рабочий стол ярлык вынести, да, чтобы постоянно сюда не лазить, не искать её. Может так сделать. для удобства. Вот. А, в принципе, здесь вам больше ничего не понадобится. А здесь будет workflow, то есть вот эти два workflow, которые просто можно закинуть себе туда в ком. Вот. А сейчас мы, наверное, запустим. Я просто покажу. То есть вот вы запускаете, когда вы уже скачали модели. Главное, сначала модели скачаете, чтобы у вас не ругался, что их нет. Вот почему я это сделал. Просто для того, чтобы сборка весила там не 40 гигов, как она весит. И, кстати, вам нужно будет 40 гигов, а вот чтобы её полностью установить свободных на жёстком диске. Здесь вот вот эти workflow, они в принципе есть ещё вот здесь в этой папке. Вот тут вот у нас Кофи запустился, да? Здесь мы видим это то, что у меня уже было открыто. они сохраняются. Если вы один раз открываете, потом что делаете? У вас всё при открытии в следующий раз у вас откроется последняя ваш workкфлоу. Ну и, соответственно, здесь а просто мы сюда перетаскиваем, да? То есть мы сейчас даже из этой папки можем в целом, без разницы, допустим, да, вот просто перекидываем сюда и всё, вот оно у нас перекинулось. В принципе, я всё рассказал, больше добавить нечего. В следующем обновлении я допилю ещё какие-то моменты, может быть, ещё что-то новое придумаем. Если кому-то пригодится, пишите где-нибудь в комментариях или где-нибудь, как вы используете подобные штуки. Просто тоже интересно. Всем спасибо. Всем пока. [музыка] А, но деревья, в принципе, можно. Но деревья можно сгенерировать и Но деревья можно сгенерировать и Да, ёб твою мать,

2.5D AI Generator | Wan2.1 + Unreal Engine + Blender

Channel: Rublev_CG

Convert Another Video

Share transcript:

Want to generate another YouTube transcript?

Enter a YouTube URL below to generate a new transcript.