Pipeline de courts métrages animés viraux
Produisez des courts métrages animés 9:16 (2D stickman-in-3D ou 3D stylisé) nativement sur la stack média Gemini et FFmpeg, sans wrappers payants tiers ni Blender.
Vérification des prérequis
Avant de lancer la génération ou l'assemblage vidéo en direct, vérifiez les dépendances locales (testez --version, pas seulement which, car /usr/bin/python3 sur macOS peut être un stub non installé de Xcode CLT) :
- API Vidéo/Audio :
gemini-api whoami(recommandé) ou SDK Pythongoogle-genaiavecGEMINI_API_KEYdéfinie (voir les compétencesgemini-omni-flash-apietgemini-api-cli). - Fiches de personnages :
gemini-api image(gemini-nano-banana-2.1) ou le sous-agentimage-generatorintégré. - Assemblage et échantillonnage d'images :
ffmpeg -version,ffprobe -versionetpython3 --version(pour la conversion des sous-titres).
Si gemini-api ou ffmpeg est manquant, terminez les étapes 1-2 en direct (en utilisant image-generator pour les fiches), générez jobs.json et les sous-titres .ass, et rapportez les commandes d'installation exactes pour les étapes restantes de rendu/assemblage en direct.
Workflow en six étapes
Stockez tous les artefacts du projet dans un répertoire dédié <project_dir>/ (par exemple, shorts/<slug>/) :
shot_plan.json, sheets/, drafts_360p/, qa/, finals_1080p/, audio/, final_short.mp4.
Étape 1 : Script, Bible de style et porte d'accroche
- Rédigez un script serré : 30-45s (2-4 scènes) pour des sketches comiques, ou 130-150 mots (45-55s) pour des vidéos explicatives. Zéro introduction ou salutation.
- Compilez
<project_dir>/shot_plan.jsonen respectantreferences/shot_plan_schema.json:- Verrouillez une chaîne
style_bibletextuelle réutilisée dans chaque prompt de scène. - Définissez chaque personnage sans objet tenu dans son design de base.
- Découpez les scènes en clips Omni de 3-15s avec des timecodes de battement
[0-3s]et une longueur moyenne de plan de 1,5-2,5s. - Définissez
audio_modesurnative_omni(dialogue comique/effets sonores) outts_plus_bgm(voix off explicative). - Écrivez la dernière ligne pour qu'elle boucle syntaxiquement dans le Battement 1.
- Verrouillez une chaîne
- Porte d'accroche (obligatoire avant le rendu) : Vérifiez le Battement 1 (
0-3s) par rapport àreferences/qa_rubric.md(section Porte d'accroche). Ne générez pas de vidéo tant que le Battement 1 n'a pas de contraste visuel à l'image 0, de mouvement immédiat et d'une prémisse verbale en boucle ouverte.
Étape 2 : Fiches de personnages à trois vues immuables
- Créez une fiche de personnage à trois vues 16:9 par personnage (
Face | 3/4 Profil | Dos) en utilisant les modèles dansreferences/sheet_prompt_templates.md.- Imposez un fond gris clair neutre, un éclairage plat uniforme, une expression neutre et aucun objet tenu (les objets provoquent des morphing des mains entre les plans).
- Générez via
gemini-api image "<prompt>" --aspect-ratio 16:9 --image-size 2K --out <project_dir>/sheets/<char>_2d.png(ou déléguez auimage-generatoret copiez/convertissez le fichier.jpg/.pngde sortie dans<project_dir>/sheets/). - Inspectez visuellement chaque fiche avec
read_file. Relancez si les vues ne concordent pas sur les proportions, la tenue ou l'épaisseur de trait. - Lorsque vous utilisez
gemini-api, téléchargez les fiches approuvées une fois (gemini-api files upload <sheet> --wait) pour réutiliser les URIfiles/<id>dans toutes les scènes.
Étape 3 : Passage de brouillon bon marché en 360p
- Générez des brouillons
9:16en360pavecgemini-omni-1.2-flash(--aspect-ratio 9:16 --resolution 360p) viagemini-api videoougenerate_video.py --batch jobs_360p.json. Chaque élément dejobs_360p.jsonutilise :{"prompt": "...", "image": ["sheets/char_2d.png"], "duration": 7, "aspect_ratio": "9:16", "resolution": "360p", "output": "drafts_360p/shot_01.mp4"} - Passez la ou les fiches de personnage immuables (
-i/--image, jusqu'à 6 images) dans chaque plan et liez chaque personnage en langage naturel par ordre de téléchargement (n'utilisez jamais de balises<IMAGE_REF_N>). - Incluez la
style_bibletextuelle, une contrainte négative explicite (pas de texte à l'écran, pas de filigrane, panneaux vierges) et les battements de plan unique ou de timecode. - Pour les plans à 2 personnages, séparez les spatialement (gauche/droite) ou utilisez un champ-contrechamp pour éviter le mélange d'attributs.
- Pour les coupes continues directes, extrayez la dernière image propre de la Scène N comme ancre secondaire, tout en gardant la fiche de personnage canonique comme ancre primaire.
Étape 4 : Contrôle qualité VLM contextuel multi-image (max 2-3 tentatives)
- Échantillonnez les images de chaque clip de brouillon (
début,milieu,pic d'action,fin) plus l'image de fin du plan précédent :bash scripts/extract_qa_frames.sh <clip.mp4> <project_dir>/qa/<shot_id> [prev_clip.mp4] - Exécutez
gemini-api analyze(ou inspection visuelle viaread_file) avecreferences/qa_rubric.md, en passant la fiche de personnage, l'image de fin précédente et les images échantillonnées. - Diagnostiquez les échecs par index d'image exact et code d'échec (
HOOK_WEAK,EXTRA_LIMB,STYLE_DRIFT,TEXT_WARP,AUDIO_DESYNC). - Appliquez le correctif correspondant de
references/failure_fix_playbook.md:- Petit défaut localisé : modifiez sur place via
--previous-interaction-id <id>("<fix>. Gardez tout le reste identique."). - Erreur majeure d'anatomie/composition : simplifiez l'action/caméra et relancez.
- Limitez les tentatives à 3 par plan. Enregistrez tout nouveau correctif découvert dans
references/failure_fix_playbook.md.
- Petit défaut localisé : modifiez sur place via
Étape 5 : Rendu final 1080p et mise à niveau optionnelle 2D vers 3D
- Rerender les plans approuvés en
1080p(--resolution 1080p). - Mise à niveau optionnelle 2D vers 3D : Convertissez chaque fiche 2D approuvée en fiche de personnage 3D stylisée en utilisant le modèle de conversion 3D dans
references/sheet_prompt_templates.mdavec-i <char>_2d.png. Inspectez viaread_file, mettez à jourstyle_biblepour le 3D stylisé, et relancez leshot_plan.jsonéprouvé.
Étape 6 : Assemblage FFmpeg déterministe
- Générez des sous-titres
.srtsynchronisés (gemini-api transcribe -i <audio_or_clip> --format srt) ou exportez à partir du minutage du script. - Convertissez
.srten sous-titres karaoké.assen zone de sécurité (positionnés au-dessus de la zone dangereuse de l'interface Shorts à 35% du bas) :python3 scripts/srt_to_ass.py <input.srt> <project_dir>/audio/captions.ass - Exécutez le script d'assemblage : sondage -> mise en conformité -> concaténation -> ducking -> gravure des sous-titres -> 2 passes
-14 LUFS:bash scripts/assemble_short.sh <project_dir>/finals_1080p <project_dir>/audio/captions.ass <project_dir>/final_short.mp4 [voiceover.wav] [bgm.wav] - Vérifiez les dimensions (
1080x1920), la durée, le niveau sonore (-14 LUFS) et les contrôles visuels definal_short.mp4avant la livraison.