Transcript of ComfyUI Wan 2.1 + MultiTalk : Le top pour l'animation Faciale

Aujourd'hui dans cette vidéo, je vais vous montrer comment faire parler une image fixe avec Multit et le modèle Van vidéo. Ça fonctionne super bien et c'est grâce à ça que j'ai pu faire cette vidéo. [Musique] Les petits oiseaux qui font cuit cuit cuit cuit cuit cuit cuit dans ce pied de nu. Alors je vais pas la laisser en entier, elle dure presque 2 minutes. Vous trouverez cette vidéo si ça vous intéresse dans les shorts de cette chaîne. Alors pour installer ces custom nodes, on va passer par Van vidéo wapper de Kij. On sait tous que maintenant Van vidéo est disponible dans Config. nativement mais on n' pas pour l'instant accès à multital. Donc on va devoir passer par ce rapport créé par Kij. Il nous explique que pour lui, c'est plus simple d'implémenter 20 vidéos dans confi de cette manière-là, ce qui lui permet de tester plein de choses. La vidéo que je vous ai montrer en introduction, je l'avais faite avec la branche multite. Mais maintenant, si vous vous rendez dans le dossier examples workflows, vous allez voir que Multitoris intégré, ce n'était pas le cas jusqu'à présent. Donc voilà, on va pouvoir passer par la branche principale. Pour faire l'installation, vous allez cloner le repos dans le dossier Custom Notes et ensuite vous allez installer toutes les dépendances. Et si vous avez la version portable avec le dossier Python Unbeded, il faudra taper cette ligne de commande. Alors, je vais vous montrer. Donc, on va aller copier le code ici. Dans le dossier custom nodes, vous allez en haut cliquer et taper cmd et vous allez ensuite écrire git clone suivi de ce qu'on a. copier, c'est-à-dire l'adresse du repos. Et on va appuyer sur entrer. Tout s'installe. Une fois que c'est fait, vous allez saisir cette ligne de code si vous êtes avec la version portable. Si c'est pas le cas, vous utiliserez l'autre ligne. Donc là, je vais me mettre dans le dossier Confie UI Windows Portable pour saisir ensuite ça. Donc là, comme tout à l'heure, on tape cmd en haut et on colle ça. Ensuite, on peut relancer Config UI. dans Config UI, vous allez ensuite aller cliquer sur workflow open. Vous allez dans les customes, vous trouverez le dossier que l'on vient d'installer et vous allez ensuite dans example workflows et vous allez choisir d'abord le premier multital test 02. Vous cliquez sur ouvrir. Là, vous avez tout ce bazar qui va s'ouvrir et il va vous falloir aller récupérer les modèles. Donc, vous avez pas mal de modèles à récupérer, notamment Multit 14B en FP8. Le modèle se trouve ici. Je vous mettrai le lien dans la description. Il est pas très très lourd, il fait moins de 3 Go. Alors, bien sûr, il y a pas que ça comme modèle. Il vous faut le modèle van vidéo, il vous faut la version image to vidéo que vous avez là. Ou alors vous pouvez utiliser aussi la version image to vidéo Fusion X. Vous avez ce qui permet d'accélérer un petit peu les choses. Vous avez besoin de ce VAE aussi et bien sûr les fameux text. Et vous avez aussi besoin de ce modèle V toc model. Vous devez charger une image. Cette image sera resizée là. Alors, on peut changer la taille he si besoin. Donc là, moi c'est un format carré, donc je vais peut-être mettre du 480 par 480. Al, c'est tout petit mais bon, ça me permettra d'aller vite. En dessous, vous allez devoir charger une musique. Voilà, par exemple, la fameuse chanson des oiseaux qui font cuit cuit. Là, vous allez déterminer l'intervalle que vous souhaitez utiliser. Et là, vous avez ce nœud qui nous permet de faire de la séparation audio. Et on va se concentrer pour l'instant sur la voie qu'on va relier ici. Donc, c'est déjà fait, hein. Si vous voulez écouter ce que ça donne, vous pouvez aller chercher le nœud qui s'appelle audio preview ou preview audio. Voilà, vous le pluguez là, vous faites un clic droit sur le nœud et vous cliquez sur selected output et vous allez vérifier ce que ça donne. Donc là, ouais, ça me charge tout l'audio. C'est un petit peu long, mais ça me permettra d'aller vérifier quand est-ce que ça chante, donc de déterminer l'intervalle. Les petits oiseaux qui font cuit cuit. Voilà, donc ça commence un œuf environ les petits oiseaux. Voilà. Donc je peux dire si je mets 5 secondes, je vais dire que c'est donc à 9 jusqu'à 14. Je valide, je refais une vérification. Là, voyez bien que j'ai bien 5 secondes. Donc 5 secondes, c'est pas mal pour tester, mais j'ai pu faire des segments de 17 secondes. Les petits oiseaux qui font cuit cu. Voilà, j'aurai ça. Ensuite, là, vous allez saisir le nombre de frames correspondant au temps que vous avez mis ici. Donc là, j'ai 5 secondes et on est en 25 images par seconde. Donc, il vous fautir ici 25 x 5, ça nous fait 125. Ce sera pas la peine de changer ici le nombre de frames. On va tester pour voir ce que ça donne. Alors, j'obtiens ce résultat. Les petits oiseaux qui font cuit cuit cuit cuit. Ceflow est un peu différent de celui que j'avais utilisé pour la vidéo que je vous ai montré en introduction et je trouve qu'il donne pas toujours des d'excellents résultats. Alors, on va aller charger l'autre workflow en question. Je vais dans workflow open et celui dont je vous parle c'est celui-ci. Ce qui est différent ici, c'est surtout ça. Ce nœud qui permet de faire des blocs de 81 frames. Et on peut changer ici le type de Skedling. Bon, je vais laisser, je me suis pas amusé à le modifier d'ailleurs. Je me suis pas amusé à modifier beaucoup de paramètres là-dedans. Donc, je vais reprendre l'image, la chanson, pas oublier he de pluguer la sortie de l'audio avec votre sortie vidéo. Vous avez en plus ici ce groupe de nœud Uni 3C. avec un contrôle net qu'il faudra aller récupérer. Et là, vous allez saisir le nombre de frames pour là et là. N'oubliez pas aussi d'adapter le prompt. Alors voilà, j'obtiens ça. Donc ensuite, on peut s'amuser à faire plusieurs intervalles et faire un montage final. Et n'hésitez pas aussi à modifier le s. On n'est pas obligé de faire chanter ou parler les personnes. On peut aussi très bien les faire euh s'animer juste avec le son, même si c'est pas toujours bien synchro. C'est pas du tout synchro même, mais on peut faire euh l'illusion. Par exemple ici, si je vais chercher autre, je peux avoir le son de la guitare et modifier le prompt. Donc ça pourrait donner ça autre. Je vais vous montrer. Si on se remet au début à zéro, j'obtiens ça. J'ai que la guitare. Donc je peux aller choisir une image d'un guitariste et de dire dans le prompt que c'est juste un homme qui joue de la guitare sans chanter. Et je peux rajouter dans le prompte négatif qu'il chante. Donc c'est à partir de cette image là. Bon, effectivement, il chante pas mais ça a quand même pas mal changé ma tête. Alors, la question qu'on peut se poser, c'est "Est-ce qu'on peut faire chanter autre chose qu'un être humain ?" Je vais tenter de faire chanter ce petit chat toujours avec la même chanson et j'obtiens ce résultat. Les petits oiseaux qui font cuit cuit cuit cuit. C'est pas super bien au niveau de la synchro, mais je trouve que le chat bouge très très bien. Donc voilà comment j'ai fait pour faire la vidéo que je vous ai montré en introduction et c'est désormais disponible dans la branche principale de 20 vidéos de KJ. Alors la prochaine étape ce sera d'essayer de faire chanter une vidéo et non pas une image fixe. J'ai vu que c'était possible. J'ai fait des essais, c'est pas encore super concluant, donc je cherche encore. Aujourd'hui, dans cette vidéo, je vais vous montrer comment faire parler coup. Et c'est grâce à ça que j'ai pu faire quoi cette bagnole coupé. M.