Compétence de production de vidéos cinématographiques narratives
Cette compétence guide la production complète de vidéos cinématographiques narratives de haute qualité à partir de chapitres de romans ou de scripts narratifs. Elle combine la génération d'images multimodale avec un ancrage de référence des personnages, un studio vocal pur via Gemini TTS, et une direction de caméra multi-plan fluide avec HyperFrames AI (GSAP).
Philosophie centrale et normes de production
- Cohérence stricte des personnages : Chaque personnage doit être visuellement ancré à l'aide d'une fiche de référence conceptuelle. Ne générez jamais de scènes à partir de simples invites textuelles aveugles – transmettez toujours les octets de l'image de référence du personnage et imposez l'ADN visuel (structure faciale, cheveux, vêtements).
- Studio vocal pur (Gemini TTS) : La voix du narrateur doit être générée avec
gemini-3.8-flash-tts. NE mettez JAMAIS d'invites système, d'instructions de ton ou de métadonnées dans l'invite de contenu ; transmettez strictement le texte pur de la narration, sinon le modèle TTS lira les instructions à voix haute. - Aucun clutter audio synthétique : Évitez les effets sonores procéduraux/synthétiques et la musique de fond générique, sauf demande explicite de l'utilisateur. Une narration vocale propre et à haute clarté offre une expérience immersive, entre livre audio et film.
- Pas de sous-titres : Évitez d'incruster ou de superposer des sous-titres sur la toile cinématographique, sauf demande. Gardez l'écran propre avec un letterbox anamorphique 2.39:1 pour maximiser l'impact visuel.
- Plans cinématographiques dynamiques : Évitez les plans statiques uniques par paragraphe. Pour les scènes d'action ou de forte intensité, fragmentez le rythme en coupures multi-plans rapides (par exemple, Coupe 1 : détail extrême/réaction, Coupe 2 : impact/plan large, Coupe 3 : gros plan émotion).
- Sécurité stricte (
.env) : Ne lisez, n'affichez, n'imprimez, ni ne modifiez.env. Les scripts backend chargent les variables d'environnement de manière programmatique dans la mémoire d'exécution.
Pipeline de production (étape par étape)
flowchart TD
A["Texte du chapitre (chapitre_XX.md)"] --> B["1. Découpage en scènes & storyboard"]
B --> C["2. Bible des personnages & fiches de référence"]
C --> D["3. Génération d'images multimodale (gemini-2.5-flash-image)"]
B --> E["4. Studio vocal pur (gemini-3.8-flash-tts)"]
D --> F["5. Composition HyperFrames & animation GSAP"]
E --> F
F --> G["6. Validation (npx hyperframes lint)"]
G --> H["7. Rendu complet (npx hyperframes render)"]
Étape 1 : Découpage en scènes & construction du storyboard
- Lisez le chapitre cible ou le texte narratif (par exemple,
chapitre_01.md). - Découpez le chapitre en 8 à 12 battements/scènes cinématographiques distincts.
- Pour chaque scène, spécifiez :
scene_id: par exemple,scene_01,scene_02, etc.title: Titre descriptif court (français/anglais).narration: Le texte de narration pur exact pour cette scène.visual_prompt: Invite cinématographique détaillée (16:9, éclairage, angle de caméra, ambiance atmosphérique).characters_present: Liste des clés des personnages (par exemple,["prima", "tawan"]).
- Enregistrez le découpage dans
video_project/storyboard.json.
Étape 2 : Bible des personnages & ancrage de référence
- Vérifiez
character_references/character_bible.mdpour savoir si des personnages existants sont définis. - Si de nouveaux personnages sont introduits, générez d'abord une fiche de référence de personnage dédiée :
- Format : feuille conceptuelle grand écran 16:9 montrant plusieurs angles (portrait en gros plan, vue 3/4, corps entier) sur un fond de studio cinématographique neutre.
- Enregistrez sous
character_references/<clé_du_personnage>_fiche_reference.png. - Documentez l'ADN visuel exact dans
character_references/character_bible.md(âge, traits du visage, coiffure, style vestimentaire, traits distinctifs).
Consultez le Guide de cohérence des personnages pour des modèles d'invites de référence détaillés.
Étape 3 : Génération d'images multimodale
- Utilisez
gemini-2.5-flash-imagevia le SDK Google GenAI. - Pour les scènes mettant en scène des personnages établis :
- Chargez la fiche de référence du personnage sous forme d'octets d'image binaires.
- Fournissez la partie image de référence avec l'invite textuelle dans la requête multimodale.
- Donnez explicitement pour instruction au modèle : "En utilisant le personnage exact de l'image de référence (, ) : [Description de la scène]".
- Pour les scènes d'action / de drame intense :
- Générez des sous-coupes multi-plans (par exemple,
scene1_cut1_pneu.png,scene1_cut2_impact.png,scene1_cut3_visage.png).
- Générez des sous-coupes multi-plans (par exemple,
- Enregistrez les images dans
video_project/images/et copiez-les dans les ressources du projet HyperFrames (sample_hyperframe/assets/).
Script d'aide : scripts/generate_scene_images.py
Étape 4 : Studio vocal pur (Gemini TTS)
- Utilisez le modèle
gemini-3.8-flash-tts. - Configurez la génération audio :
response_modalities=["AUDIO"]speech_configavec une voix prédéfinie (par exemple,PuckouAoede).
- CRITIQUE : Transmettez UNIQUEMENT le texte exact de la narration dans
contents.# CORRECT : response = client.models.generate_content( model="gemini-3.8-flash-tts", contents=scene["narration"], # Texte pur uniquement ! config=types.GenerateContentConfig(response_modalities=["AUDIO"], speech_config=...) ) - Convertissez le PCM/WAV brut en sortie en MP3 44,1 kHz propre à l'aide de FFmpeg.
- Enregistrez les fichiers audio dans
video_project/audio/voice/et copiez-les danssample_hyperframe/assets/.
Script d'aide : scripts/generate_gemini_tts.py
Étape 5 : Assemblage HyperFrames & animation cinématographique
- Sondez la durée de chaque fichier vocal de scène avec
ffprobe. - Calculez les heures de début et les durées des scènes :
scene_duration = voice_duration + 0,6s(0,2s de pré-roll + 0,4s de respiration).
- Générez
sample_hyperframe/index.htmlavec :- Superpositions de letterbox grand écran cinématographique 2.39:1 (
.letterbox-top,.letterbox-bottom). - Conteneurs d'images purs sans sous-titres.
- Éléments
<audio>natifs programmés à leurs horodatages exacts (tl.call(() => audio.play(), ..., voice_start)). - Animation de la timeline GSAP :
- Coupes multi-plans pour les battements d'action (affichage basculant avec transitions de flash blanc).
- Push-in / panoramique lent de type Ken Burns (
scale: 1.0 -> 1.08-1.12). - Fondus enchaînés / coupures fluides entre les scènes.
- Enregistrez la timeline :
window.__timelines = [tl].
- Superpositions de letterbox grand écran cinématographique 2.39:1 (
- Mettez à jour
sample_hyperframe/hyperframes.jsonavec la durée totale exacte :{ "duration": 177.6, "fps": 30, "width": 1920, "height": 1080 }
Script d'aide : scripts/build_hyperframes_project.py
Guide d'animation détaillé : Guide de mouvement HyperFrames
Étape 6 : Vérification et rendu
- Vérification Lint :
Assurez-vous de 0 erreurs, 0 avertissements.cd sample_hyperframe npx hyperframes lint - Rendu du film complet :
npx hyperframes render --output ../video_project/output/<nom_du_chapitre>_film_complet.mp4 - Vérification de la qualité :
- Confirmez que le fichier existe et que sa taille est raisonnable (~150–250 Mo pour ~3 min Full HD).
- Vérifiez la synchronisation audio-vidéo et l'absence d'images noires ou de coupures audio.