Communitygithub.com

Montage vidéo IA — keyframes narrés + image-vers-vidéo

Montre à un agent comment planifier, construire ou couper une « courte vidéo IA » afin que le résultat concret soit une vidéo terminée. La procédure traverse les étapes clés : keyframes narrés + image-vers-vidéo, règles strictes, pipeline. À utiliser lorsqu'une nouvelle affectation requiert ce savoir-faire.

Qu'est-ce que Montage vidéo IA — keyframes narrés + image-vers-vidéo ?

Cette compétence définit un pipeline génératif complet pour produire des courtes vidéos animées à partir d'un script narré, en remplaçant le rendu 3D traditionnel par une chaîne d'outils d'IA. Elle est conçue pour les agents travaillant avec des plateformes comme Gemini (génération de keyframes), vibes.ai (création de clips), ElevenLabs (synthèse vocale), et ffmpeg (assemblage final). Le flux est strictement orchestré : le script est parsé et haché, la narration est synthétisée avec des timestamps, puis un plan de plans est dérivé des bornes de mots réelles. Chaque plan reçoit deux prompts distincts — un pour le keyframe fixe et un pour le mouvement vidéo — afin d'éviter les artefacts de dérive. Des garde-fous automatisés (gates) vérifient la conformité à chaque étape (taille, cadence, absence d'artefacts texte, cohérence des personnages) avant de passer à l'étape suivante, plus coûteuse. Le pipeline est conçu pour être reprise après interruption : chaque étape écrit son état dans un fichier JSON, permettant de redémarrer exactement là où l'exécution s'est arrêtée. Une section de playbook documente les symptômes, causes et correctifs pour les problèmes courants (503 TTS, clips figés, dérive des personnages). Les livrables incluent la vidéo finale au format 720×1280, 24 ips, H.264/AAC, avec un rapport de compromis.

Compatible avec✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/akashdeep000/claude-animated-shorts/tree/HEAD/ai-video-short

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait Montage vidéo IA — keyframes narrés + image-vers-vidéo ?

Remplace le rendu three.js par un pipeline génératif. La rigueur de ../SKILL.md est conservée : faits en premier, timings des mots comme horloge unique, un seul verrouillage visuel, des mesures au lieu d'adjectifs, et des portes qui doivent être passées avant la dépense suivante.

Barre de référence : ~/Videos/ramayana-part1/part1-startframe.jpg (keyframe) et ramayana-part1-v1.mp4 (clip). Illustration premium de bande dessinée mythologique indienne 2D, trait noir épais, clé dorée chaude, 720×1280.

Les détails se trouvent dans :

  • PLAN.md — phases, portes, risques, décisions encore ouvertes
  • PIPELINE.md — contrats d'étape, commandes exactes, machine à états
  • SHOT-PLANNING.md — algorithme timings vers plans
  • STYLE-LOCK.md — bloc de style verrouillé, fiche personnage, cibles de palette
  • PROMPTS.md — algèbre des prompts, classes de mouvement, échelle de modération
  • AUDIO.md — partition raga générée + SFX synthétisés, niveaux, ducking
  • QA.md — vérifications de porte, seuils, taxonomie des défauts
  • ../references/mythic/ — barre de style mesurée : frame de départ, clip de travail, prompts réussis, chiffres de palette
  • ../templates/mythic/ — générateur de vibes en un seul passage et la passe de vie cinétique
  • tools/CONTRACTS.md — les treize CLI que ce workflow suppose
  • missions/garuda-jatayu.md — le pilote : script textuel, distribution, règles visuelles, critères d'acceptation

Règles strictes

  1. La narration est l'horloge. Chaque coupe est dérivée des timestamps réels des mots. Aucune limite de plan n'est inventée avant l'existence de timeline.json.
  2. Script textuel. <project>/script-tagged.txt est identique octet par octet au script de l'utilisateur. script-spoken.txt ne diffère que par la suppression des balises [...]. Une vérification de hachage s'exécute dans la porte G0.
  3. Deux prompts par plan, jamais un. keyframePrompt décrit une image fixe. videoPrompt décrit 5 secondes de mouvement à partir de cette image. Réutiliser le prompt du keyframe comme prompt vidéo est le bug de qualité le plus courant (il produit des clips sans vie et dérivants).
  4. Un seul verrouillage visuel. Le bloc de style + la fiche personnage sont des constantes dans style-lock.json. Les prompts sont assemblés à partir d'eux, jamais écrits librement.
  5. Ne jamais étirer un clip de plus de 1,12x. Si un battement a besoin de plus de temps, planifiez un autre plan ou une extension (+4 s). L'étirement était le plus grand compromis de la première exécution.
  6. Aucune image non revue n'atteint la vidéo. Les keyframes passent d'abord une revue de planche-contact et la vérification d'artefacts texte. Les crédits vidéo sont l'étape coûteuse.
  7. Repris par construction. Chaque étape écrit state/<stage>.json avec un hachage d'entrée. La ré-exécution est idempotente. Une exécution qui meurt au plan 6 sur 28 doit redémarrer au plan 6.
  8. Téléchargez les médias générés immédiatement. Les URL du CDN vibes expirent.
  9. La musique et les SFX sont générés, non sous licence. Moteur raga local pour la partition, synthétiseur local pour les effets, prises hero facultatives avec quota limité ElevenLabs. Niveaux : voix -16, musique -24 duckée -3, SFX -18. Les sous-titres restent désactivés.
  10. Signalez les compromis, ne les cachez jamais. Toute porte qui a été levée apparaît dans le rapport final et dans README.md.

Pipeline

script-tagged.txt
   │ S0  parse + hash + beat map
   ▼
script.json ──► S1 TTS (elevellab) ──► tts/*.mp3 + tts/*.words.json
                                        │ S2 timeline + pause plan
                                        ▼
                                   timeline.json
                                        │ S3 shot planning
                                        ▼
                                    shots.json
                       ┌────────────────┴────────────────┐
                  S4 prompt assembly               S5 keyframes (Gemini)
                       ▼                                ▼
                  prompts/*.json                   keyframes/*.jpg
                                                        │ S6 clips (vibes.ai)
                                                        ▼
                                                   clips/*.mp4
                                                        │
              timeline.json + shots.json ──► S7 sound ───┤
                   cues -> music + sfx -> mix           │ S8 assembly (ffmpeg)
                                                        ▼
                                                   final.mp4 + QA

Parallélisme : S1 segments à 3 concurrents (limite de service). S5 à 4. S6 à 3. S1/S2 et S4 peuvent se chevaucher une fois que script.json existe. S7 nécessite seulement timeline.json + shots.json, donc la musique et les SFX se rendent pendant que S6 est encore en cours ; seuls le mix final et S8 attendent le dernier clip.

Commandes d'étape

Les noms sont des contrats issus de tools/CONTRACTS.md ; implémentez-les ou appelez-les comme indiqué.

PROJ=~/Videos/garuda-jatayu

# S0 — analyser le script, conserver le hachage, construire la carte des battements
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"

# S1 — synthétiser par segment (eleven_v4 + balises audio inline)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
  --url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
  --model eleven_v4 --tags inline --concurrency 3

# S2 — mesurer l'audio, insérer les pauses planifiées, construire l'horloge maître
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
  -o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"

# S3 — dériver les plans des limites de mots (jamais à partir de suppositions)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/shots.json"

# S4 — assembler les deux prompts par plan
python tools/compose_prompts.py "$PROJ/shots.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/prompts"

# S5 — keyframes, conditionnés par la fiche personnage + les plaques de localisation
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
  --sheet "$PROJ/style/character-sheet.png" --concurrency 4

# S6 — clips, 3 concurrents, reprise, échelle de modération intégrée
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
  --out "$PROJ/clips" --concurrency 3

# S7 — son : feuille de repères, partition, sfx, mix
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
  --music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"

# S8 — EDL, graphe xfade/cut, mux avec le mix
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
  --clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"

# portes
python tools/qa.py "$PROJ" --gate all

Portes (pas de porte, pas de dépense suivante)

portevérificationsbloque
G0 scripthachage textuel, chaque phrase a un battement + distribution + lieuS1
G1 timingmonotonie des mots, couverture, durée de concat == fin de timeline +-100 msS3
G2 storyboardchaque clause couverte, durées dans [4.0, 5.6] s, coupures sur fins de motS5
G3 keyframes720×1280, cohérent avec la fiche, aucun artefact texte, comptes de personnagesS6
G4 clips720×1280/24 ips/125 f, dérive dans les limites, mouvement présentS7
G5 assemblydurée +-0,3 s, décalages xfade, aucune jointure noire/figéelivraison
G6 final720×1280, 24 ips, AAC présent, -16 LUFS +-1, pic vrai de sonorité <= -1,0 dBTPlivraison
G6b audiomarge voix-fond >= 6 LU sur les fenêtres parlées, duck 2,5-3,5 dB, bords de repère propres, stems somme au mixlivraison

G3 et la moitié visuelle de G4 nécessitent une revue visuelle par lot. Tout le reste est vérifiable par machine.

Playbook des échecs

symptômecausecorrectif
TTS 503 / solveur hors lignevoie decaptcha en pannecurl 127.0.0.1:8000/health, redémarrer la voie, puis réessayer
CONTENT_POLICY lors de la soumissionvocabulaire de modérationdeux fois le même prompt, puis neutraliser le lexique (PROMPTS.md), puis raccourcir
clip dérive / se figeaucune phrase de verrouillage de poseajouter "garder leurs poses et positions depuis la première image"
clip est une image fixeparagraphe de mouvement manquant ou trop faibleun paragraphe explicite de caméra + un paragraphe de mouvement secondaire
personnages diffèrent par imageaucun conditionnement de référencepasser la fiche personnage via files=[...]
Gemini 401cookie expiréréextraire __Secure-1PSID + __Secure-1PSIDTS depuis Helium CDP
vibes 401session en cache périméesupprimer ~/.vibes-session.json, laisser autoSession() se reconnecter
mauvaise taille de sortieframe de départ non 720×1280reconstruire l'image avec ImageOps.fit
la coupe atterrit hors tempotiming de plan inventérelancer S3 à partir de timeline.json
exécution morte en milieu de lotpas d'étatattendu : relancer la même commande, elle reprend
l'aperçu SFX retourne quota_exceededle quota d'aperçu anonyme ElevenLabs est épuisé (~2 requêtes)attendu : le synthétiseur local a toujours rendu chaque repère ; geler les prises hero seulement lorsque le quota est frais

Livrables

<project>/
  final.mp4             720×1280, 24 ips, H.264/AAC, -16 LUFS
  README.md             pipeline + commandes exactes + compromis
  script-tagged.txt     entrée textuelle
  script-spoken.txt     texte parlé uniquement
  script.json           segments analysés, battements, distribution, lieux
  timing.json           mots par segment
  timeline.json         horloge maître y compris les pauses
  shots.json            plan des plans (l'EDL)
  style-lock.json       bloc de style + fiche personnage + plaques
  style/                character-sheet.png, plates/*.png
  prompts/              <shot>.keyframe.txt, <shot>.video.txt
  keyframes/            <shot>.jpg + manifest.json
  clips/                <shot>.mp4 + <shot>.generation.json
  score/                cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
  state/                <stage>.json
  qa/                   rapports de porte, planches-contact

Consultez PLAN.md avant de démarrer une nouvelle vidéo : il enregistre les décisions résolues (voix, balises émotionnelles, cadence des plans, son, sous-titres) et les phases qui les appliquent.

Skills associés