Créer des vidéos IA en 5 minutes grâce à Deforum
Et un outil pratique nommé RunDiffusion
Hello !
Bienvenue aux 321 personnes qui ont rejoint FreeA depuis la dernière fois, on est maintenant 3029 !
(Désolé pour le retard, j’ai oublié de programmer la newsletter ce matin)
Au programme du jour :
- Mon absence
- Comment créer une vidéo IA grâce à Deforum et RunDiffusion
- Les news dans le monde de l'IA
- Ma pépite de la semaine
Si quelqu’un vous a partagé cette édition, n’hésitez pas à vous abonner pour ne pas manquer les prochaines ;)
Mon absence
Je n'ai pas envoyé de newsletters depuis 3 semaines.
Voilà la raison :
Pendant 2 semaines, je me suis isolé pour construire la formation ultime pour créer son super-assistant grâce à de l'IA.
_D'ailleurs, le lancement est prévu pour la semaine prochaine. Je vous enverrai des vidéos gratuites provenant de la formation_ !
Je n'avais pas pris d'avance sur les newsletters.
Alors je n'ai pas posté.
C'est tout.
J'ai pas de meilleure excuse 😅
Alors on passe tout de suite à de la valeur pure :)
Créer une vidéo IA grâce à Deforum et RunDiffusion
Sommaire :
Quelle technique on va utiliser pour créer de la vidéo avec de l'IA ?
Comment ça fonctionne, Deforum ?
Utiliser RunDiffusion pour éviter de surchauffer son PC
Configurer RunDiffusion pour obtenir une vidéo dynamique
Obtenir les meilleurs prompts pour sa vidéo
Quelle technique on va utiliser pour créer de la vidéo avec de l'IA ?
La vidéo est une tâche impossible pour l'IA.
Jusqu'à ce qu'on découvre cette technique :
La superposition d'images similaires.
Pour créer une vidéo, on va générer énormément d'images, puis les coller automatiquement ensemble.
La vidéo n'est pas du tout réaliste, mais ce n'est pas le but.
Ca crée un effet hypnotique de regarder une histoire se construire avec des images changeantes.
Pour créer cette vidéo, on a donc plusieurs étapes :
1- Générer des images
2- Configurer la manière dont elles s'assemblent
3- Configurer les mouvements dans la vidéo pour créer du dynamisme
Ca tombe bien, un outil permet de faire les 3.
Deforum.
Comment ça fonctionne, Deforum ?
Deforum est une extension de Stable Diffusion.
"Attends, c'est quoi Stable Diffusion ?"
Stable Diffusion, c'est une IA en libre accès sur internet qui permet de générer des images.
On peut la télécharger sur son ordinateur, y ajouter des extensions, l'entraîner, etc.
Mais c'est pour une prochaine fois.
Et justement, Deforum est une extension de Stable Diffusion.
C'est un menu supplémentaire.
Dedans, on peut créer des vidéos.
Voilà son fonctionnement (résumé) :
On détermine la taille des images.
On détermine la qualité des images grâce à l'étape "steps" (on en reparle plus tard)
On donne des intructions sur le type de vidéo et les mouvements de caméra.
On écrit des prompts associés à différents temps qui permettent de générer les images.
On peut donner une image initiale pour le démarrage.
=>
On lance la vidéo, et on attend.
Longtemps.
"J'ai pas 3 heures pour générer une vidéo de quelques secondes moi !"
Je sais.
Et moi non plus.
Alors on va utiliser un outil supplémentaire : RunDiffusion.
Utiliser RunDiffusion pour éviter de surchauffer son PC
RunDiffusion est un site internet qui permet de générer des vidéos rapidement, même avec un ordinateur nul.
Comment ça fonctionne :
On loue une machine au temps.
Ca crée une interface de Stable Diffusion commune à son ordi et celui loué.
On peut générer des vidéos beaucoup plus rapidement.
Voici le site : https://app.rundiffusion.com/
Au niveau des coûts :
2€50/h pour les machines les plus rapides.
Pour commencer, il suffit de créer un compte, de créditer 10€, et on est parti !
PS : pour ajouter ses propres images comme origine de la vidéo, il faut un compte payant.
30€/mois, mais 6€ de crédit + réduction des coûts : (1,75€ au lieu de 2,50)
"Ok, j'ai lancé une session avec RunDiffusion. Et maintenant, je fais quoi ?"
Maintenant, on va le configurer pour créer une vidéo ultra quali.
Et pour ça, il faut comprendre quelques paramètres :
Configurer RunDiffusion pour obtenir une vidéo dynamique
La première interface, c'est celle de base.
On va configurer les informations générales de sa vidéo.
La résolution + les steps.
Et là, première chose importante.
Les steps, c'est le nombre de fois qu'une image va être retravaillée.
Exemple : 5 steps. L'image va être retravaillée 5 fois avant de passer à la suivante. La qualité est médiocre.
50 steps. L'image va être retravaillée 50 fois avant de passer à la suivante. La qualité est bonne.
Plus on a de steps, plus la vidéo prend de temps à se créer (logique).
Donc voici mon conseil : tester des vidéos avec peu de steps pour trouver les prompts + mouvements parfaits, avant de la générer avec le maximum de steps : 200
Deuxième interface, les mouvements de caméra.
C'est là où on va déterminer le type de vidéo + les différents mouvements au cours de la vidéo.
1er paramètre important : le mode d'animation.
2D, 3D, interpolation ou video input.
Perso, j'utilise que la 2D ou la 3D.
La 2D permet de faire une vidéo "basique", et la 3D une vidéo comme ça : https://www.instagram.com/reel/CrqCW6JMbiH/?utm_source=ig_web_copy_link&igshid=MmJiY2I4NDBkZg==
On va donc parler des paramètres de la 3D.
Il y en a 2-3 qui changent pour la 2D, mais c'est peu important.
2ème paramètre important : la cadence.
C'est la quantité d'images à la suite qui ne vont pas être modifiées.
Avec une grosse cadence, la vidéo va rarement "changer".
3ème paramètre important : La quantité maximum de Frames (d'images)
C'est la durée de la vidéo.
100 Frames = 6 secondes (environ).
4ème paramètre important : la force
A quel point chaque image va ressembler à la précédente.
De base, il est fixé à 0.65.
J'aime bien le décaler après une cinquentaine d'images à 0.55.
"Comment ça tu "décales" ?"
C'est le moment d'introduire la notion de prédiction.
Dans la vidéo, on va prédire les changements de comportement à différentes frames.
A partir du paramètre de force, on peut déterminer des valeurs différentes pour différents moments de la vidéo.
Ex : 0:(0.65), 50:(0.55), 420:(0.75)
Ici, la force va être de 0.65 pour chaque image entre 0 et 50, de 0.55 entre 50 et 420, et de 0.75 entre 420 et le nombre maximum de frames.
La nomenclature est la suivante :
X1:(Y1), X2:(Y2), etc
X = La frame (image) à partir de laquelle on définit la nouvelle valeur Y.
Y = Nouvelle valeur
Pas de virgule ou de point à la fin.
5ème paramètre important : La translation
C'est le déplacement de l'image.
La translation X déplace l'image à gauche ou à droite (valeur positive pour la droite, négative pour la gauche)
La tranlation Y déplace l'image en haut ou en bas.
La translation Z déplace l'image en avant ou en arrière (ce qui donne la sensation d'avancer ou de reculer dans la vidéo)
IMPORTANT : Ici, la valeur Y va être appliquée à **chaque nouvelle frame**
Ex :
Translation X = 0:(0.5), 50:(0.75), 420:(-0.2)
Ici, l'image va se déplacer à droite de 0.5 à chaque frame entre 0 et 50, puis de 0.75 à droite à chaque frame entre 50 et 420, puis de 0.2 à gauche entre 420 et le max frame.
6ème paramètre important : La rotation 3D
C'est la rotation de la vidéo.
Attention, ici :
La rotation X tourne la vidéo... vers le haut (ou le bas).
La rotation Y tourne la vidéo vers la droite (ou la gauche). Valeur positive = droite, négative = gauche.
La rotation Z tourne la vidéo dans le sens horaire ou anti-horaire. Valeur positive = horaire, négative = anti-horaire.
En terme d'échelle, si tu veux quelque chose de dynamique mais compréhensible, je te conseille de rester entre 0.15 et 1.5 dans tes paramètres de déplacement.
3ème interface, la plus importante ! (Mais pas la plus dure)
Les prompts utilisés pour réaliser la vidéo.
C'est simple : c'est comme Midjourney.
Tout type de prompt peut fonctionner, même des très courts.
Mais comme Midjourney, plus c'est détaillé, mieux c'est.
Tu peux ajouter des prompts "positifs" ou "négatifs" qui resteront à chaque fois.
Ex de prompts négatifs :
lowres, (bad anatomy:1.2), EasyNegative, multiple views, six fingers, black & white, monochrome, (bad hands:1.2), (text:1.2), error, cropped, worst quality, low quality, normal quality, jpeg artifacts, (signature:1.2), (watermark:1.3), username, blurry, out of focus, amateur drawing, colored, shading, displaced feet, out of frame, massive breasts, large breasts ,((ugly)), nude.
Voici la nomenclature :
{
"0": "prompt",
"60 (mets le nombre que tu veux)": "prompt",
"150": "prompt",
"250": "prompt"
}
Attention : pas de virgule sur le dernier prompt, sinon tu auras une erreur !
4ème interface, "init". Elle te permet de mettre une image en "origine" de la vidéo (et donc de créer une vidéo sympa avec un poil de montage)
(Si tu veux récupérer une image précise d'une vidéo pour faire ta transition, mets sur pause et prends un screenshot)
1ère étape : acheter un compte payant sur RunDiffusion. 30€ / mois.
2ème étape : Uploader ton image dans ton espace de travail.
Quand tu lances une session, tu as un espace de travail sur ta droite.
Tu as juste à glisser ton image dedans.
3ème étape : renommer cette image.
Mets un nom simple. Comme : "Image"
4ème étape : mettre le chemin vers l'image dans l'interface "init"
Voilà le chemin :
/mnt/private/{nom de l'image} (ex : /mnt/private/image)
Penses au premier / avant le "mnt", sinon tu auras une erreur.
5ème étape : modifier les paramètres pour que ton image soit active
Dans l'interface "init", tu peux activer l'utilisation d'une première image, et désactiver l'option "force 0 pour la première image".
Et voilà, ton image est configurée, et tu peux lancer ta vidéo avec ton image en inspiration !
Obtenir les meilleurs prompts
Petite technique pour les prompts, si tu ne veux pas t'embêter.
Va sur https://www.midjourney.com/app/feed/ (compte Midjourney requis, 10€ / mois).
Balade toi dans les images de la communauté, et sélectionne celles que tu veux utiliser dans ta vidéo.
En cliquant dessus, tu as accès au prompt utilisé.
Il te suffit de copier coller et de modifier au besoin :).
Maintenant qu'on a vu :
- La technique pour générer une vidéo
- Comment utiliser RunDiffusion pour faire tourner facilement Deforum
- Comment configurer Deforum et obtenir les meilleurs prompts
Tu es prêt à générer tes propres vidéos !
Essaie la méthode et publie ton résultat en me mentionnant, je serai ravi de voir ce que tu as pu créer :)
Et partage la newsletter si tu connais un pote à qui ça peut servir de créer une vidéo IA !
Les news dans le monde de l'IA
Quelques news importantes cette semaine :
- Adobe ajoute l'IA à Photoshop. On peut modifier une image en décrivant le changement.
- Microsoft ajoute Copilot (une IA) à Windows. C'est ChatGPT qui agit sur ton ordinateur, et sans internet.
- Copilot est ajouté à Word, Excel, etc
- OpenAI crée un fond d'un milliard pour récompenser ceux qui trouvent des solutions sur la régulation.
- Nvidia passe de 770 à 980 milliards de valorisation boursière.
- Elon Musk prédit l'apparition de l'intelligence artificielle générale d'ici 3-6 ans. C'est sa plus grande peur.
Une nouvelle semaine dans le monde de l'IA...
La pépite de la semaine
Ce site te permet de créer ton site internet en 5 minutes.
Tout ce que tu as à faire :
Le décrire en 750 caractères.
L'outil te crée le site, et tu peux ensuite le modifier.
Pratique pour créer ce site qui traine sur ta to-do depuis des mois...
Tu peux le tester gratuitement ici :
https://www.codedesign.ai/
Si la newsletter te plait, et que tu connais quelqu'un à qui elle peut servir, tu peux la partager juste ici :
Et si ce n'est pas encore fait, tu peux t'abonner :