Génération de Médias Générés
Objectif
Utilisez cette compétence lorsqu'un montage synchronisé sur les beats nécessite des médias générés plutôt que uniquement des séquences trouvées/sourcées. Maintenez le même niveau de qualité que le flux de travail Smash : les actifs générés doivent soutenir les points de coupe, les changements de phrase, les changements de sujet et l'escalade visuelle, et non devenir du remplissage générique.
Routage
- Pour la vidéo générée, utilisez une compétence Gemini/Veo installée lorsqu'elle est disponible, par exemple
$gemini-video-generationou celle de Jake$gomez-cloud-veo-generation. - Pour la génération via le navigateur Google Flow, utilisez la route Gomez/Flow lorsque l'utilisateur demande Flow, des crédits navigateur, Google Omni, Veo dans Chrome, ou l'interface utilisateur Flow visible.
- Pour les images fixes générées, les plaques, maquettes, découpes, textures ou images de référence, utilisez la compétence/outil
$imagegenintégré de Codex lorsqu'il est disponible. - Si ni les outils de génération vidéo ni ceux de génération d'images ne sont disponibles, créez un manifeste de prompts et un plan d'édition, puis informez l'utilisateur de l'étape de génération restante qui est bloquée.
Quand Générer
Générez des médias lorsque :
- L'utilisateur demande explicitement une vidéo ou des images générées.
- Les séquences réelles ne sont pas disponibles, trop faibles, trop répétitives ou bloquées par des licences/accès aux sources.
- Une section nécessite un visuel spécifique impossible à sourcer, une plaque de transition, une image de rêve, un abstrait sans titre, un cutaway sécurisé pour le produit, ou un accent sur le beat.
- Le montage est exploratoire et les placeholders générés aideront à tester le timing avant de trouver les séquences réelles finales.
Préférez les séquences réelles lorsque :
- Le produit final a besoin d'événements authentiques, de personnes, de gameplay, de preuves produit, de making-of, de réactions de foule en concert, ou de confiance documentaire.
- Les médias générés réduiraient la spécificité ou donneraient un aspect générique au montage.
- Une source réelle peut être trouvée rapidement et légalement.
Flux de Travail
- Commencez par l'analyse de la chanson et le plan de montage. Ne générez pas d'actifs avant de connaître la fenêtre cible, le ratio d'aspect, la rampe d'énergie et les rôles des marqueurs.
- Décidez du type d'actif par repère :
generated_video: clips animés courts pour les changements de phrase, transitions, atmosphère ou scènes impossibles.generated_still: plaques d'image à animer avec des panoramiques, zooms, parallaxes, superpositions ou flashs rapides.source_footage: les séquences réelles restent préférées pour l'action concrète et les preuves finales.
- Créez un manifeste de génération avec une ligne/objet par actif demandé :
- ID du repère
- heure du marqueur ou plage horaire
- type d'actif
- ratio d'aspect
- prompt
- liste d'éléments à éviter
- utilisation prévue dans la timeline
- chemin de sortie
- Demandez avant de dépenser des crédits vidéo payants/API, sauf si l'utilisateur a clairement demandé une génération réelle.
- Enregistrez les actifs générés du projet sous des dossiers locaux ignorés comme
media/generated/,work/generated-media/ououtputs/generated-media/. Ne committez pas les MP4 générés, images brutes, clés API, téléchargements ou références privées. - Vérifiez les clips générés avec
ffprobeet les images générées en les ouvrant ou en les inspectant avant de les utiliser dans une timeline. - Ajoutez les actifs générés acceptés au manifeste des sources du montage avec
source_kind=generated_videoousource_kind=generated_still. - Montez d'abord le montage propre. Traitez les actifs générés comme du matériel source, pas comme une raison de sauter les CSV de timeline, les planches-contacts, les briefs ou
$edit-delivery-qa.
Rendu Procédural Audio-Réactif (préféré pour les visuels abstraits)
Pour les éléments abstraits/atmosphériques — tunnels, portails, mandalas kaléidoscopiques, champs d'explosions stellaires, horizons des événements, morceaux de titres — préférez un rendu GPU procédural à la génération IA : il est déterministe, sans filigrane, entièrement possédé, et peut être piloté par l'enveloppe d'attaque de la chanson elle-même pour que chaque pulsation tombe sur la musique par construction.
Squelette : Python + contexte autonome moderngl, un fragment shader #version 330 fullscreen-triangle, uniforms par image (uTime, uPulse depuis une enveloppe d'attaque librosa avec normalisation au 95e percentile et décroissance peak-hold exp(-1/(fps*0.22)), accumulateurs intégrés de vitesse/roulis qui montent sur les hits), images lues du FBO et canalisées en RGB brut directement dans ffmpeg -f rawvideo -pix_fmt rgb24 -vf vflip -c:v libx264 -crf 18 -pix_fmt yuv420p. CLI standard : --audio --start --dur --out --fps 30 --w 1080 --h 1920, plus un mode --still --t pour les vérifications de direction artistique avant de s'engager dans un rendu complet.
Mappings audio éprouvés : attaques → zoom punch / flash blanc chaud / rotations de kick ; basses → bloom central / chaleur de la bordure interne ; énergie intégrée → vitesse de déplacement. Gardez les bandes comme signaux normalisés séparés.
La loi de direction artistique (apprise deux fois) : base quasi-noire + néon émissif. Les champs procéduraux denses lavent les tons pastel à moins qu'environ 50% du champ soit un fossé noir, le bruit sculpte la lumière (I = profile * pow(streak, 1.5+) * gradient), et la saturation est renforcée. Si le rendu semble plat, augmentez la séparation de profondeur et assombrissez la périphérie avant d'ajouter des détails. Finition : tonemapping Reinhard-ish acc*1.35/(1+acc), boost de saturation ~1.3, gamma 0.4545 ; ajoutez du tramage (dithering) pour les dégradés quasi-noirs sur les pièces maîtresses.
Règle d'intégration : un rendu procédural ne doit pas être intercalé en segments autonomes (voir la règle integrated-FX dans $beat-synced-montage-builder). Composez-le DANS les plans — fusion par écran (screen-blend) dans les cieux en RGB/gbrp (jamais YUV — risque de dérive magenta), alpha en disque dégradé, reflets, fuite de lumière enveloppée sur les bords, écrans indexés en coin — ou fusionnez-le dans le shader en décodant la coupe de base dans une texture que le même fragment shader échantillonne, en passant les temps de coupe du montage comme uniforms pour que les coupes atterrissent comme des punchs de déformation. Rendez toujours sur la fenêtre exacte (--start/--dur) utilisée par le montage.
Guide de Génération Vidéo
Utilisez Gemini/Veo/Flow pour la vidéo générée. Gardez les prompts directs, visuels et conscients du montage :
9:16 vidéo verticale, 8 secondes, pas de texte lisible ni de logos.
Scène : <visuel spécifique>.
Mouvement : <une action claire pouvant être coupée sur les beats>.
Caméra : <mouvement de caméra simple>.
Style : <style visuel>.
Éclairage/ambiance : <énergie>.
Éviter : texte, filigrane, logos de marque, personnages supplémentaires, mains/visages malformés.
Pour les montages synchronisés sur les beats, demandez des clips courts avec un début, un milieu et un moment d'impact utilisable clairs. Évitez les prompts qui nécessitent une chorégraphie exacte sur plusieurs beats ; générez plutôt plusieurs options simples.
Si vous utilisez Google Flow, sélectionnez le modèle Veo/Omni visible qui correspond à la demande de coût/qualité de l'utilisateur. Téléchargez les clips finis immédiatement et copiez-les dans un dossier média local ignoré du projet avec des noms stables en minuscules.
Guide de Génération d'Images
Utilisez la génération d'images Codex pour les plaques fixes, les cutaways, les images de référence, les visuels d'album/histoire ou les scènes impossibles qui peuvent être animées localement. Préférez les plaques d'image lorsque le montage a seulement besoin :
- d'un flash rapide
- d'une image pour cut de correspondance
- d'un fond parallax
- d'un insert symbolique
- d'un concept de vignette/planche-contact
- d'un visuel promptable que la génération vidéo compliquerait inutilement
Promptez les fixes avec l'utilisation prévue dans le montage :
Type d'actif : plaque d'image pour montage synchronisé sur les beats
Demande principale : <visuel>
Format : 9:16 vertical ou 16:9 paysage
Composition : sujet clair, lisible à taille de flux social, espace pour mouvement sécurisé au recadrage
Style/médium : <photo/illustration/3D/etc>
Contraintes : pas de texte lisible, pas de logos, pas de filigrane
Lorsqu'un projet utilisera l'image, déplacez/copiez la sortie sélectionnée dans l'espace de travail. Ne laissez pas les actifs référencés uniquement dans le cache d'images générées par défaut de Codex.
Règles de Qualité
- Les actifs générés doivent être liés à des beats, phrases ou moments narratifs spécifiques.
- Évitez les prompts génériques de B-roll comme « visuels abstraits cool » sauf si la section demande véritablement de l'abstraction.
- Faites plusieurs prompts étroits au lieu d'un seul prompt large lorsqu'un montage a besoin de variété.
- Rejetez les actifs générés avec du mauvais texte, des visages/mains cassés, des filigranes visibles, un mouvement faible, une lisibilité floue du sujet, ou aucun point de coupe évident.
- Marquez clairement les placeholders générés dans les manifestes afin qu'ils puissent être remplacés par des séquences réelles plus tard.
Transmission au Constructeur de Montage
Après la génération ou la planification, passez les actifs acceptés à $beat-synced-montage-builder comme sources normales. Incluez :
- chemins des actifs
- IDs des repères et heures de marqueur prévues
- type de source
- prompt utilisé
- notes sur les meilleures images ou les meilleurs moments de mouvement
- priorité de remplacement :
final_ok,replace_if_real_source_foundouplaceholder_only