Texte → vidéo animée
Ceci est un pipeline « texte vers animation » de style Fliki (voir references/fliki-notes.md), mais les visuels sont dessinés en code et rendus dans ce conteneur, donc il n'y a ni crédits Fliki, ni filigrane, ni limite de 3 minutes.
Entrée : l'une des suivantes
- une idée en une ligne
- un script
- une URL de blog
- un PDF ou PPT
- un fichier MP3 de voix off existant
Sortie : un fichier MP4 finalisé, plus une copie pour WhatsApp, dans le rapport d'aspect choisi par l'utilisateur.
Étapes
-
Brief. Recueillez ces informations, en utilisant les valeurs par défaut lorsque l'utilisateur ne les précise pas :
- langue (par défaut : la langue de l'utilisateur ; hinglish/hindi est acceptable)
- ton (neutre)
- durée (60 s)
- rapport d'aspect (9:16 pour les reels/shorts, 16:9 pour YouTube, 1:1 pour le fil d'actualité)
- préréglage de style (voir ci-dessous)
- voix : le fichier MP3 de l'utilisateur, ElevenLabs, ou aucune
Ne demandez que ce que vous ne pouvez pas définir par défaut.
-
Source → script.
- Idée : rédigez-la vous-même.
- URL / PDF / PPT : lisez la source, ne gardez que les faits qu'elle soutient, et citez-la sur la carte de fin.
- Longueur : écrivez un script segmenté en scènes à environ 140 mots/min pour l'anglais, 120 pour l'hindi.
- Structure : une accroche dans les 3 premières secondes, une idée par scène, un appel à l'action à la fin.
- Vérification : montrez le script et attendez l'approbation, sauf si l'utilisateur a fourni le script.
-
Plan de scène. Écrivez
plan.json(format ci-dessous) avec 1 scène toutes les 4 à 8 secondes, et affichez-le sous forme d'un court tableau.{"W":1080,"H":1920,"fps":30,"style":"2d-cartoon","scenes":[ {"id":1,"t0":0,"t1":5.2,"text":"<ligne de voix>","visual":"<ce qui est dessiné>","motion":"<camera/animation>","sfx":["whoosh:0.1"]}]} -
Voix. Choisissez l'une des options suivantes :
- Fichier MP3 utilisateur : utilisez-le tel quel. Si de la musique se trouve sous la voix, séparez d'abord la voix (demucs) avant l'alignement.
- ElevenLabs : l'utilisateur a besoin d'une clé. Demandez avec
request_credentialpour l'hôteapi.elevenlabs.io, en-têtexi-api-key. Ne leur demandez jamais de coller la clé dans le chat. Ensuite, appelezPOST https://api.elevenlabs.io/v1/text-to-speech/{voice_id}avecmodel_ideleven_multilingual_v2(ou le modèle multilingue le plus récent listé par l'API), une requête par scène ou pour l'ensemble du script. - Aucune voix : utilisez uniquement des sous-titres et des effets sonores, en chronométrant chaque scène à sa durée prévue.
-
Aligner.
python scripts/align.py voice.wav script.txt words.json 30donne les temps des mots, ainsi quewords_mouth.jsonpour la synchronisation labiale.- Cela nécessite
pip install --break-system-packages torch torchaudio uroman librosa soundfileet télécharge son modèle depuisdownload.pytorch.org, ce que cet environnement permet. - Re-calibrez les scènes de
plan.jsonen fonction des mots alignés. Ne devinez jamais les temps lorsqu'une voix existe.
-
Feuille de personnages d'abord (si la vidéo contient des personnages). Dessinez chaque personnage une fois sous forme de fonction avec quelques poses (inactif, parle, pointe, surpris) et enregistrez une feuille PNG. Réutilisez les mêmes fonctions dans chaque scène pour que les personnages soient identiques tout au long de la vidéo. Les personnages doivent être originaux ; ne copiez jamais un personnage de dessin animé ou d'anime existant.
-
Construisez
scene.html.- Un seul canevas de taille W×H.
window.renderAt(t)doit être déterministe : aléatoire basé sur une graine, pas deDate.now(), pas d'animation CSS.window.readyse résout après le chargement des polices. Utilisez les fichiers woff2 locaux : Baloo 2 ou Noto Sans Devanagari pour l'hindi, Inter/Anton/Bangers/Caveat selon le style.- Les sous-titres sont dessinés dans le canevas :
- 2 à 5 mots par segment, en coupant aux signes de ponctuation ou aux pauses de plus de 0,35 s
- le mot actif est surligné dès son début
- le texte reste dans la zone de sécurité ; pour le 9:16, rien dans les 250 px du haut ou les 420 px du bas
- Mouvement : déplacements avec atténuation(easing), clignements toutes les 2 à 5 s, balancement au repos, un lent zoom avant par scène, et un mouvement de transition entre les scènes.
-
Vérification des images fixes. Exécutez
node scripts/render.cjs stills scene.html <8–12 fois> stills/ W H, puis assemblez les images fixes en une planche contact avec ffmpegtile. Examinez vous-même la planche, corrigez les problèmes, puis montrez-la à l'utilisateur et attendez l'approbation avant le rendu complet. -
Rendu et mixage.
- Vidéo :
node scripts/render.cjs video scene.html 0 DUR v.mp4 30 W H - Effets sonores :
python scripts/sfx.py DUR sfx.wav whoosh:3.2 pop:8.1 chime:10.5 - Mixez la voix à 0 dB et les effets sonores à environ −12 dB. N'utilisez de la musique que si l'utilisateur la fournit ; réduisez son volume sous la voix avec
sidechaincompress. - Multiplexez, puis
loudnorm=I=-14:TP=-1.5.
- Vidéo :
-
Livraison.
- Vérifiez la présence d'images noires avec
blackdetect. - Créez une copie WhatsApp/720p de moins de 20 Mo.
- Envoyez les deux fichiers avec
SendUserFile. - Pour d'autres rapports d'aspect, écrivez la mise en page en fonction de (W, H) et refaites le rendu.
- Vérifiez la présence d'images noires avec
Préréglages de style
| préréglage | apparence | mouvement |
|---|---|---|
2d-cartoon | formes arrondies, couleur unie avec une nuance, contour foncé de 4 à 6 px, arrière-plans lumineux | rebondissant (atténuation back/elastic), écrasement aux atterrissages |
anime-style | grands yeux, traits propres et épais, couleur unie + ombre dure, dégradés de ciel | lignes de vitesse, plans d'impact, petites secousses d'écran sur les coups |
comic-book | encre noire épaisse, tramage, cases, autocollants d'explosion (POW, WAAH!) | claquement de cases, zoom-coup, transitions par effet de page |
storybook (fantasy) | dégradés doux et picturaux, grain de papier, lumière chaude, police à empattement arrondi | parallaxe lent, particules flottantes, fondus doux |
whiteboard | tableau blanc, traits de marqueur noir dessinés avec stroke-dashoffset, une couleur d'accent | une main/stylo suit le trait en cours de dessin ; effacement par balayage |
kinetic-type | police en gras (Anton/Inter Black), 2 à 3 couleurs, formes en accents | les mots claquent, glissent et changent d'échelle sur le rythme ; masques et cuts par correspondance |
cinematic-2d | illustration semi-réaliste unie, lumière dramatique mono-source, palette atténuée | seuls des ralentis et des travellings avant ; rythme documentaire |
Règles
- Dessiner en code. Tout est dessiné en code : pas de séquences libres de droit ni de générateurs d'images ou de vidéos, sauf si l'utilisateur fournit des médias ou demande des clips générés (dans ce cas, utilisez
ai-video-generator). - Personnes réelles. Ne créez pas de ressemblances réalistes par IA de personnes réelles et vivantes du domaine public. Utilisez des images symboliques, des silhouettes, ou une caricature de l'utilisateur dessinée à partir de ses photos.
- Faits. Les faits affichés à l'écran doivent provenir de la source de l'utilisateur ou d'une recherche vérifiée. N'inventez jamais de statistiques, de citations ou de témoignages.
- Écrasement. Demandez avant d'écraser un fichier de sortie existant.