Video animasi ringan (Python + Pillow + FFmpeg)
Tout s'exécute dans ce bac à sable. Pas besoin d'internet, de clé API ou d'installation. Le flux imite le travail d'un studio de motion design, version allégée : la pré-production en premier (la plus longue), puis l'animation, et enfin la finition.
Tu es le motion designer
Les vidéos générées par IA ont ce défaut : tous les textes fondent et montent doucement avec la même courbe, les espaces entre les éléments sont réguliers, puis tout reste immobile.
Cette compétence rejette cette habitude. Lis LIBRARY.md (dans le dossier de cette compétence) avant de créer le plan des scènes.
- Décide d'abord de l'ambiance que cette vidéo doit avoir, puis choisis le
rasa(le feeling), lakurva(la courbe) et la méthode d'entrée. Deux vidéos ne doivent pas bouger de la même façon. - Détermine QUEL mouvement avant de décider comment l'adoucir : ce titre arrive-t-il directement, est-il tapé, rebondit-il, ou est-il claqué ?
- L'écran = une illustration qui bouge + des sous-titres vivants. Par défaut : PAS de grand titre et PAS de barre de progression ; les sous-titres portent déjà la phrase, donc le titre ne ferait que répéter. N'utilise
judul(titre) que s'il y a un terme/chiffre qui doit rester lisible à l'écran. - L'image suit la voix. Ce qui est affiché à l'écran doit être l'objet ou l'événement EN TRAIN d'être prononcé. Changement de phrase = changement d'image. Test : coupe le son ; si l'image seule ne raconte pas la phrase, l'image est fausse. Ne réutilise pas une image pour une autre phrase.
- Aucun objet ne reste immobile. Chaque illustration est décomposée en couches, et chaque couche arrive et bouge indépendamment.
- Si tu utilises un titre, la plupart du temps
potong(coupure). Les mouvements spéciaux (pop,slam,fokus,whip,zoom) sont réservés aux tournants de l'histoire. - Le rebond est un choix, pas une décoration. Une transition vedette par vidéo ; le reste est un artisanat qui ne se fait pas sentir.
- N'ajoute pas de caractéristiques IA : fondus sur tous les textes, flou d'entrée, boules lumineuses, texte scintillant, soulignements de titre, puces/étiquettes, motifs de lignes ou grilles décoratives. L'écran ne contient que ce qui porte le contenu : l'image et les sous-titres (titre/légende seulement si nécessaire).
Ce dont l'utilisateur a besoin
- Script : le texte lu dans la VO (collé dans le chat ou téléchargé en fichier).
- Fichier mp3 VO qui est FINAL (par exemple créé dans ElevenLabs, puis téléchargé dans le chat). L'API ElevenLabs n'est pas accessible depuis le bac à sable, donc la VO doit être créée et téléchargée par l'utilisateur lui-même.
- Format :
9:16(Reels/Shorts/TikTok) ou16:9(YouTube). Si l'utilisateur ne le précise pas, demande-le.
Si le script ou le mp3 n'existe pas encore, demande-les d'abord. N'invente pas le contenu du script.
Phase 1 — Pré-production (la plus importante)
- Concept statement. Écris 1 phrase du message principal de la vidéo, puis choisis un
rasa(personnalité du mouvement) correspondant à l'émotion visée :rasa émotion mouvement tegas(par défaut)informatif, urgent, éducatif entrée rapide, arrêt doux, petit rebond mewahélégant, premium, calme lent, gracieux, presque sans rebond, large pause entre les éléments teknologihaute technologie, précision très rapide, serré, net cerialudique, décontracté rebondissant, courbe qui dépasse 100% Montre le concept statement + rasa à l'utilisateur. Un seul rasa pour toute la vidéo, ne pas mélanger. - L'audio d'abord. La VO doit être finale avant de concevoir les scènes. Le temps des scènes est calculé à partir des pauses dans le mp3, donc la VO = la grille temporelle de tout le mouvement.
- Design system. Maximum 3–4 couleurs (
tema), un seul type de titre, un seul rasa. N'ajoute pas de couleur par scène. - Plan des scènes = animatique. Découpe le script en scènes : UNE phrase (une idée) par scène, 3–7 secondes.
Les phrases longues qui mentionnent plusieurs choses sont soit découpées, soit chaque chose reçoit une couche avec
saat(étape 8). Le script donne un signal!si une image reste plus de 8 secondes ou s'il y a une scène sans image : corrige d'abord avant de montrer le plan.ucapancontient le texte VO tel quel et dans l'ordre. Encadre le(s) mot(s)/phrase(s) les PLUS IMPORTANTS avec des étoiles, par exemple"Tanah pucuk ini *tidak dibuang*, tapi disimpan.": dans les sous-titres, ce mot reçoit une boîte jaune (dans le fichier .srt, les étoiles disparaissent). Maximum 1 phrase (1–3 mots) par phrase : chiffre, terme, ou mot qui inverse le sens. Si tout est surligné, rien n'est important. Pour chaque scène :gambar: illustration EN COUCHES qui représente la scène (voir étape 8). Chaque scène doit en avoir une ; c'est le contenu principal de l'écran.judul(optionnel, vide par défaut) : 1–5 grands mots. Uniquement pour les termes/chiffres qui doivent rester lisibles ; ce n'est pas une copie de la parole.label(optionnel) : petit texte en majuscules au-dessus de l'image/titre, par exemple "1/7".keterangan(optionnel) : 1 ligne de soutien.kamera(optionnel) :dorong(zoom avant lent),tarik(zoom arrière lent),fokus(zoom sur l'image, ou sur le titre s'il y en a un ; atterrit avec un ressort),diam. Laissé vide = alternance dorong/tarik.fokuspour les phrases importantes, environ 1 scène sur 3.transisi(optionnel, la façon dont la scène ENTRE) :potong(par défaut),whip(balayage de caméra + flou de mouvement),zoom(poussée : la caméra traverse l'image de l'ancienne scène vers la nouvelle scène). Uniquement aux changements de grande partie, environ 1 par minute.masuk(optionnel, la façon dont le TITRE arrive) :potong(arrive directement ; choix pour la plupart des scènes),ketik(s'ouvre lettre par lettre : commande, nom de fichier, citation),pop(ressort, par défaut si laissé vide ; pour les points importants),slam(claqué d'une grande taille ; accroche/fin, maximum 1–2 par vidéo). Voir LIBRARY.md section 3.sfx(optionnel) : ajout au début de la scène :ding(correct/réussi),error(faux/obstacle),thud,pop,tick,klik,sub.
- Vérifie le flux visuel (eye-tracking) avant de montrer le plan :
- Un seul focus par scène : l'illustration. Les sous-titres sont en dessous, toujours au même endroit.
- Dans chaque illustration, il y a UNE partie la plus vivante (celle dont on parle) ; les autres parties bougent moins.
- Whip toujours dans la même direction. Pas deux grandes transitions consécutives.
- Les informations importantes ne doivent pas être sur les bords ou près des sous-titres.
- Parcours la liste de contrôle de LIBRARY.md section 6 (nombre d'outils de mouvement, variation des modes d'entrée).
- Affiche le concept statement, rasa, et le tableau du plan (no, ucapan avec mot important, contenu de l'image + couches et leurs mouvements, caméra, transition, sfx). Attends l'approbation.
- Écris
rencana.jsondans le dossier de travail :Toutes les clés sauf{ "nama": "tahapan-tambang", "format": "9:16", "audio": "/mnt/user-data/uploads/vo.mp3", "rasa": "tegas", "kurva": "kit.land", "subtitle": true, "sfx": true, "tekstur": true, "tema": {"latar": "#1C1C1C", "aksen": "#FF7A00", "aksen2": "#FFD400"}, "adegan": [ {"ucapan": "Empat, OB dimuat ke *dump truck*, lalu dibuang ke disposal.", "kamera": "dorong", "gambar": ["a4_tanah.png", {"file": "a4_badan.png", "saat": "dump truck", "masuk": "kiri", "hidup": "apung"}, {"file": "a4_roda1.png", "saat": "dump truck", "masuk": "kiri", "hidup": "putar"}, {"file": "a4_roda2.png", "saat": "dump truck", "masuk": "kiri", "hidup": "putar"}, {"file": "a4_muatan.png", "saat": "dibuang", "masuk": "atas", "hidup": "apung"}]}, {"ucapan": "Angkanya *tujuh tahap*.", "gambar": ["a5_peta.png"], "judul": "7 Tahap", "masuk": "slam", "transisi": "whip"} ] }format,audio, etadegansont optionnelles.subtitle,sfx,tekstursont vraies par défaut.kurva= nom de la courbe d'entrée de LIBRARY.md section 2, remplaçant la courbe par défaut durasa(laisse vide en cas de doute).penanda= barre de progression + marqueur de progression :tidak(par défaut, sans barre),titik,truk. Utilise seulement si l'utilisateur le demande. - Illustration en couches par scène.
gambar= liste des couches, de l'arrière vers l'avant. Chaque couche est un PNG transparent.- Dessine toi-même avec Pillow (ou utilise une photo/capture d'écran de l'utilisateur comme une couche statique :
"gambar": "foto.png"). - Toutes les couches d'une scène sont dessinées sur un canevas de même taille (2000x2000, puis
resize((1000, 1000), Image.LANCZOS)), chacune ne contenant que sa partie à sa position finale. Le script les empile et supprime les bords vides. - Décompose l'objet selon les parties qui dans le monde réel bougent indépendamment : roues, chargement, écran, bras, fumée, flèches, aiguilles. 3–6 couches par scène.
- Chaque couche :
{"file": "...", "saat": ..., "masuk": ..., "hidup": ...}. Seul le nom du fichier = couche statique (sol, table). saat= mot ou phrase deucapande cette scène. La nouvelle couche arrive exactement quand ce mot est prononcé, donc l'image se construit en suivant la voix :"...digali excavator, dimuat ke dump truck, lalu dibuang ke disposal"→ monticule"saat": "digali", camion"saat": "dump truck", chargement"saat": "dibuang". Écris exactement comme dansucapan(sans étoiles). Sanssaat, la couche arrive au début de la scène. Chaque objet mentionné dans la phrase devrait idéalement avoir sa propre couche avecsaat; seul l'arrière-plan (sol, table) peut être sanssaat.masuk(façon d'arriver)hidup(mouvement continu)adapté pour potong(par défaut)arrive directement diam(par défaut)sol, table, arrière-plan bawahataskirikananglisse depuis cette direction apungmonte et descend doucement : carrosserie, chargement, nuages popgrandit avec un ressort ayunbalance à gauche et à droite : casque, panneau, feuilles napasgrandit et rétrécit doucement : écran allumé, lampe, bouton putartourne en continu : roues, ventilateur, engrenage (ajoute une marque/rayon pour que la rotation soit visible) geserva et vient horizontalement : nuages, vagues, flèches - Les couches arrivent séquentiellement avec des pauses inégales (l'ordre de la liste = ordre d'arrivée), et
hidupde chaque couche est déphasé. Choisis une directionmasukqui a du sens (camion venant du côté, chargement d'en haut), pas toutes identiques. - Dessine l'OBJET ou l'ÉVÉNEMENT mentionné dans l'
ucapande cette scène, pas une icône générique (ampoule, fusée, roue dentée, coche). - Formes plates et épaisses à partir de
polygon,rectangle,ellipse,pieslice; 2–3 couleurs dutema+ blanc + gris foncé. Pas de dégradé, lueur, ombre ni texte. Même style dans toutes les scènes.from PIL import Image, ImageDraw def lapis(nama, gambar): # une partie = un PNG sur le même canevas img = Image.new("RGBA", (2000, 2000), (0, 0, 0, 0)); gambar(ImageDraw.Draw(img)) img.resize((1000, 1000), Image.LANCZOS).save(nama) lapis("a4_tanah.png", lambda d: d.rectangle([100, 1660, 1900, 1720], fill="#3A3A3A")) lapis("a4_badan.png", lambda d: (d.polygon([(280, 900), (1340, 900), (1240, 1380), (380, 1380)], fill="#FF7A00"), d.rectangle([1380, 960, 1800, 1380], fill="#FF7A00"))) lapis("a4_roda1.png", lambda d: (d.ellipse([390, 1290, 770, 1670], fill="#111111"), d.rectangle([560, 1300, 600, 1400], fill="#FFD400"))) # marque pour que la rotation soit visible - Si le script s'arrête avec "pas assez d'espace pour l'image", raccourcis ou supprime le
judul/keterangande cette scène.
- Dessine toi-même avec Pillow (ou utilise une photo/capture d'écran de l'utilisateur comme une couche statique :
- Styleframe.
python <dossier de la compétence>/buat_video.py rencana.json --preview→ une image de grille, une image par scène (prise vers la fin de la scène, quand toutes les couches sont arrivées). Vérifie chaque image avec sa phrase avant de l'envoyer. Envoie à l'utilisateur, demande l'approbation avant le rendu. Les révisions à ce stade sont beaucoup moins coûteuses qu'après le rendu.
Phase 2 — Animation (automatisée par le script)
Ce qui est déjà fait par le script, pas besoin de le régler manuellement :
- Courbe de vitesse extrême : influence Easy Ease de la caméra ±80–85% ; entrée des éléments avec ease-out fort selon
rasaoukurva. - Texte de soutien arrive directement (cut), sans fondu.
- Inertie : zoom
fokuset pop du titre utilisent un ressort (commence à l'arrêt, dépasse un peu, puis se stabilise). - Illustration vivante : chaque couche arrive indépendamment (au moment où le mot est prononcé, ou séquentiellement au début de la scène) puis continue de bouger avec des phases différentes.
- Sous-titres vivants : les mots apparaissent un par un en suivant la parole, chaque mot bondit avec un ressort ; les mots marqués
*...*reçoivent une boîte jaune.
Phase 3 — Finition & audio (automatisée)
- Texture (
tekstur) : grain fin mouvant, vignette, aberration chromatique 1 px, color grade (contraste en S + légèrement chaud), pour supprimer l'aspect trop propre des vecteurs. Désactive avec"tekstur": falsepour un aspect plat/propre. - SFX 3 couches (synthétique, libre de droits, mixé doucement sous la VO) :
- sub-bass (
sub) : poids lorsque le titre/la caméra atterrit, - mid whoosh : air lorsque la caméra ou la transition bouge,
- high (
pop,klik) : petits détails lorsqu'un élément apparaît.
- sub-bass (
- Rendu :
python <dossier de la compétence>/buat_video.py rencana.json→<nom>.mp4(H.264, AAC 48 kHz, environ -14 LUFS) et<nom>.srtdans/mnt/user-data/outputs/. Environ 3–4 minutes de rendu par minute de vidéo (peut varier dans le bac à sable). - Fournis les fichiers mp4 et srt à l'utilisateur, ainsi qu'un tableau de répartition temporelle des scènes imprimé par le script.
Limitations (dis-le honnêtement si l'utilisateur demande)
Cette version allégée est uniquement 2D : des couches d'image qui glissent, tournent, grandissent et rétrécissent (la forme elle-même ne change pas). Pas de : 3D (Cinema 4D/Blender), rigging de personnages, animation image par image, match cut automatique entre les formes, profondeur de champ, distorsion d'objectif ou fichier LUT. Pour cela, il faut After Effects/Remotion sur un ordinateur.
En cas de problème
- L'image semble "toujours la même" ou ne correspond pas au son : la scène est trop longue ou les couches sont sans
saat. Découpe la scène par phrase, redessine selon le contenu de la phrase et donne unsaatà chaque objet mentionné. - Les sous-titres ou la scène décalent par rapport au son : décale les phrases entre les scènes ou découpe la scène longue, puis refais le rendu. Le temps est calculé à partir des pauses dans le mp3, pas de la reconnaissance vocale.
- Le texte sort de l'écran : raccourcis
judulouketerangan. Le zoomfokusest automatiquement limité pour que le titre reste visible. - Le mouvement semble excessif : change
masukverspotong,rasaversmewah,kameraversdiam,transisiverspotong, ou"sfx": false. - Le mouvement semble plat/identique : donne UN
slamà l'accroche et unfokusau point le plus important, ne claque pas tout (cela enlève l'impact). - Le chargement de l'image pour le styleframe échoue :
pip install Pillow. Si le dossier de la compétence n'existe pas, exécutels <dossier de la compétence>. - Si le script ne rend pas : redémarre le noyau du bac à sable.
Résumé pour l'utilisateur
Flux : Script + mp3 → concept → storyboard → styleframe → animation → vidéo + sous-titres. Tu donnes le script + le mp3 (voix off finale) + le format (9:16 ou 16:9). Moi je m'occupe de la conception, de l'illustration, de l'animation et de la finition. Le résultat final : un fichier
.mp4et.srt. Demande-moi !