Que fait Montage vidéo IA — keyframes narrés + image-vers-vidéo ?
Remplace le rendu three.js par un pipeline génératif. La rigueur de
../SKILL.md est conservée : faits en premier, timings des mots comme horloge unique,
un seul verrouillage visuel, des mesures au lieu d'adjectifs, et des portes qui
doivent être passées avant la dépense suivante.
Barre de référence : ~/Videos/ramayana-part1/part1-startframe.jpg (keyframe) et
ramayana-part1-v1.mp4 (clip). Illustration premium de bande dessinée mythologique indienne 2D,
trait noir épais, clé dorée chaude, 720×1280.
Les détails se trouvent dans :
PLAN.md— phases, portes, risques, décisions encore ouvertesPIPELINE.md— contrats d'étape, commandes exactes, machine à étatsSHOT-PLANNING.md— algorithme timings vers plansSTYLE-LOCK.md— bloc de style verrouillé, fiche personnage, cibles de palettePROMPTS.md— algèbre des prompts, classes de mouvement, échelle de modérationAUDIO.md— partition raga générée + SFX synthétisés, niveaux, duckingQA.md— vérifications de porte, seuils, taxonomie des défauts../references/mythic/— barre de style mesurée : frame de départ, clip de travail, prompts réussis, chiffres de palette../templates/mythic/— générateur de vibes en un seul passage et la passe de vie cinétiquetools/CONTRACTS.md— les treize CLI que ce workflow supposemissions/garuda-jatayu.md— le pilote : script textuel, distribution, règles visuelles, critères d'acceptation
Règles strictes
- La narration est l'horloge. Chaque coupe est dérivée des timestamps réels des mots.
Aucune limite de plan n'est inventée avant l'existence de
timeline.json. - Script textuel.
<project>/script-tagged.txtest identique octet par octet au script de l'utilisateur.script-spoken.txtne diffère que par la suppression des balises[...]. Une vérification de hachage s'exécute dans la porte G0. - Deux prompts par plan, jamais un.
keyframePromptdécrit une image fixe.videoPromptdécrit 5 secondes de mouvement à partir de cette image. Réutiliser le prompt du keyframe comme prompt vidéo est le bug de qualité le plus courant (il produit des clips sans vie et dérivants). - Un seul verrouillage visuel. Le bloc de style + la fiche personnage sont des
constantes dans
style-lock.json. Les prompts sont assemblés à partir d'eux, jamais écrits librement. - Ne jamais étirer un clip de plus de 1,12x. Si un battement a besoin de plus de temps, planifiez un autre plan ou une extension (+4 s). L'étirement était le plus grand compromis de la première exécution.
- Aucune image non revue n'atteint la vidéo. Les keyframes passent d'abord une revue de planche-contact et la vérification d'artefacts texte. Les crédits vidéo sont l'étape coûteuse.
- Repris par construction. Chaque étape écrit
state/<stage>.jsonavec un hachage d'entrée. La ré-exécution est idempotente. Une exécution qui meurt au plan 6 sur 28 doit redémarrer au plan 6. - Téléchargez les médias générés immédiatement. Les URL du CDN vibes expirent.
- La musique et les SFX sont générés, non sous licence. Moteur raga local pour la partition, synthétiseur local pour les effets, prises hero facultatives avec quota limité ElevenLabs. Niveaux : voix -16, musique -24 duckée -3, SFX -18. Les sous-titres restent désactivés.
- Signalez les compromis, ne les cachez jamais. Toute porte qui a été levée
apparaît dans le rapport final et dans
README.md.
Pipeline
script-tagged.txt
│ S0 parse + hash + beat map
▼
script.json ──► S1 TTS (elevellab) ──► tts/*.mp3 + tts/*.words.json
│ S2 timeline + pause plan
▼
timeline.json
│ S3 shot planning
▼
shots.json
┌────────────────┴────────────────┐
S4 prompt assembly S5 keyframes (Gemini)
▼ ▼
prompts/*.json keyframes/*.jpg
│ S6 clips (vibes.ai)
▼
clips/*.mp4
│
timeline.json + shots.json ──► S7 sound ───┤
cues -> music + sfx -> mix │ S8 assembly (ffmpeg)
▼
final.mp4 + QA
Parallélisme : S1 segments à 3 concurrents (limite de service). S5 à 4. S6 à 3.
S1/S2 et S4 peuvent se chevaucher une fois que script.json existe. S7 nécessite
seulement timeline.json + shots.json, donc la musique et les SFX se rendent
pendant que S6 est encore en cours ; seuls le mix final et S8 attendent le dernier clip.
Commandes d'étape
Les noms sont des contrats issus de tools/CONTRACTS.md ; implémentez-les ou
appelez-les comme indiqué.
PROJ=~/Videos/garuda-jatayu
# S0 — analyser le script, conserver le hachage, construire la carte des battements
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"
# S1 — synthétiser par segment (eleven_v4 + balises audio inline)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
--url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
--model eleven_v4 --tags inline --concurrency 3
# S2 — mesurer l'audio, insérer les pauses planifiées, construire l'horloge maître
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
-o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"
# S3 — dériver les plans des limites de mots (jamais à partir de suppositions)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/shots.json"
# S4 — assembler les deux prompts par plan
python tools/compose_prompts.py "$PROJ/shots.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/prompts"
# S5 — keyframes, conditionnés par la fiche personnage + les plaques de localisation
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
--sheet "$PROJ/style/character-sheet.png" --concurrency 4
# S6 — clips, 3 concurrents, reprise, échelle de modération intégrée
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
--out "$PROJ/clips" --concurrency 3
# S7 — son : feuille de repères, partition, sfx, mix
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
--music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"
# S8 — EDL, graphe xfade/cut, mux avec le mix
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
--clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"
# portes
python tools/qa.py "$PROJ" --gate all
Portes (pas de porte, pas de dépense suivante)
| porte | vérifications | bloque |
|---|---|---|
| G0 script | hachage textuel, chaque phrase a un battement + distribution + lieu | S1 |
| G1 timing | monotonie des mots, couverture, durée de concat == fin de timeline +-100 ms | S3 |
| G2 storyboard | chaque clause couverte, durées dans [4.0, 5.6] s, coupures sur fins de mot | S5 |
| G3 keyframes | 720×1280, cohérent avec la fiche, aucun artefact texte, comptes de personnages | S6 |
| G4 clips | 720×1280/24 ips/125 f, dérive dans les limites, mouvement présent | S7 |
| G5 assembly | durée +-0,3 s, décalages xfade, aucune jointure noire/figée | livraison |
| G6 final | 720×1280, 24 ips, AAC présent, -16 LUFS +-1, pic vrai de sonorité <= -1,0 dBTP | livraison |
| G6b audio | marge voix-fond >= 6 LU sur les fenêtres parlées, duck 2,5-3,5 dB, bords de repère propres, stems somme au mix | livraison |
G3 et la moitié visuelle de G4 nécessitent une revue visuelle par lot. Tout
le reste est vérifiable par machine.
Playbook des échecs
| symptôme | cause | correctif |
|---|---|---|
| TTS 503 / solveur hors ligne | voie decaptcha en panne | curl 127.0.0.1:8000/health, redémarrer la voie, puis réessayer |
CONTENT_POLICY lors de la soumission | vocabulaire de modération | deux fois le même prompt, puis neutraliser le lexique (PROMPTS.md), puis raccourcir |
| clip dérive / se fige | aucune phrase de verrouillage de pose | ajouter "garder leurs poses et positions depuis la première image" |
| clip est une image fixe | paragraphe de mouvement manquant ou trop faible | un paragraphe explicite de caméra + un paragraphe de mouvement secondaire |
| personnages diffèrent par image | aucun conditionnement de référence | passer la fiche personnage via files=[...] |
| Gemini 401 | cookie expiré | réextraire __Secure-1PSID + __Secure-1PSIDTS depuis Helium CDP |
| vibes 401 | session en cache périmée | supprimer ~/.vibes-session.json, laisser autoSession() se reconnecter |
| mauvaise taille de sortie | frame de départ non 720×1280 | reconstruire l'image avec ImageOps.fit |
| la coupe atterrit hors tempo | timing de plan inventé | relancer S3 à partir de timeline.json |
| exécution morte en milieu de lot | pas d'état | attendu : relancer la même commande, elle reprend |
l'aperçu SFX retourne quota_exceeded | le quota d'aperçu anonyme ElevenLabs est épuisé (~2 requêtes) | attendu : le synthétiseur local a toujours rendu chaque repère ; geler les prises hero seulement lorsque le quota est frais |
Livrables
<project>/
final.mp4 720×1280, 24 ips, H.264/AAC, -16 LUFS
README.md pipeline + commandes exactes + compromis
script-tagged.txt entrée textuelle
script-spoken.txt texte parlé uniquement
script.json segments analysés, battements, distribution, lieux
timing.json mots par segment
timeline.json horloge maître y compris les pauses
shots.json plan des plans (l'EDL)
style-lock.json bloc de style + fiche personnage + plaques
style/ character-sheet.png, plates/*.png
prompts/ <shot>.keyframe.txt, <shot>.video.txt
keyframes/ <shot>.jpg + manifest.json
clips/ <shot>.mp4 + <shot>.generation.json
score/ cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
state/ <stage>.json
qa/ rapports de porte, planches-contact
Consultez PLAN.md avant de démarrer une nouvelle vidéo : il enregistre les décisions
résolues (voix, balises émotionnelles, cadence des plans, son, sous-titres) et les phases
qui les appliquent.