Storyboard Reel
Transforme un storyboard dessiné à la main, quelques rendus d’un personnage low poly et le produit en une publicité 9:16 d’environ 28 secondes avec musique et effets sonores. Pas de narration, pas de sous-titres sur l’action.
Moteur : python3 scripts/storyboard_reel.py <commande> <job>, exécuté depuis la racine du dépôt (le dossier qui contient scripts/). --help liste toutes les commandes. La logique se trouve dans scripts/sr_lib.py (types de plans, valeurs par défaut, timing, vérifications), sr_shots.py (dessin), sr_matte.py (découpes), sr_media.py (ffmpeg, rembg, serveur multimédia). Sur Windows, utilisez python au lieu de python3.
Point de départ : skills/storyboard-reel/job_template.json. new le copie dans le job. Son exemple est un reel figure-et-lueur. Un reel caméra-first se construit à partir de plans clip.
Le format
- 9:16, environ 28 secondes. La piste musicale détermine la durée.
- Types de plans dessinés par le moteur :
logo(sur fond noir),black,dolly(zoom avant sur un personnage),pose(maintien),clip(un mouvement image-à-vidéo),glow(la lumière d’un accessoire se concentre et explose),white,shirt(t-shirt blanc sur fond blanc, le design apparaît en fondu, titre en dessous),card(titre, maquette, prix, tailles, couleurs, site),still(image clé plein cadre) etscan(recherche à travers une lunette). - Réorganisez, répétez ou supprimez des types pour suivre le storyboard. Un panneau qu’aucun type ne peut dessiner nécessite une nouvelle fonction de dessin dans
sr_shots.pyainsi qu’un test. Dites-le avant de construire autour. - Aspect VHS :
"vhs": 0.5dans job.json (0 désactivé, 1 complet). Il se pose sur la section personnage et disparaît en fondu à travers le flash blanc, de sorte que le t-shirt et la carte reviennent nets. Avecvhsactivé, le livrable principal estfinal_9x16_vhs.mp4.
Entrées
- Un dossier contenant les pages du storyboard et vos rendus du personnage (un par pose). Nommez les fichiers avec
logo,mockupouboarddans le nom et ils seront détectés. Ajoutez le logo sur fond blanc et une maquette produit si vous en avez. - L’URL de la page produit.
newlit le.jsonShopify de la page pour le titre, le prix, les tailles et les couleurs. - Pour la révélation, une photo de l’impression dos sur fond uni clair. Si aucune n’est définie, la première image de la boutique est utilisée. C’est souvent une maquette chargée, donc remplacez-la par une image propre.
Workflow
- Nouveau job.
python3 scripts/storyboard_reel.py new <product-url> <images-folder> [--word <topic>] [--title "<title>"]Copie les images danssrc/, les images de la boutique dansproduct/, et remplit le texte de la carte.--wordtermine le nom du dossier du job par un mot-clé. - Éditer job.json à partir du storyboard. Associez chaque panneau à un plan, définissez
panelpour correspondre au storyboard, assignez chaque rendu à un personnage, et écrivez la description de la plaque. Terminé quandpython3 scripts/storyboard_reel.py check <job>affiche la timeline sans problème. - Découpes (reels de personnage) :
cutouts <job>, puis ouvrezwork/cut/feet_check.jpg. rembg peut supprimer un os pâle sur un sol pâle et conserver l’ombre portée. Corrigez chaque pied avec les zonesfigures.<name>.feeten pixels source (addrestaure les pixels pâles,dropefface l’ombre sombre du sol,rebuildrecalcule la zone). Relancez jusqu’à ce que chaque pied soit entier. - Plaque.
plate <job> --n 3génère des fonds candidats sur le serveur multimédia (gratuit). Consultezwork/bg/plates.jpget définissezplate.srcsur celui qui convient. Gardez "sol large, vide et plat au premier plan" dans la description, car les personnages se tiennent àlook.feet_y. Vous pouvez également définirplate.srcavec votre propre image. - Planche contact, première étape de validation.
stills <job>écritwork/contact_sheet_9x16.jpg. Vérifiez que les pieds sont au sol, que le personnage dépasse la bande UI inférieure et que le texte de la carte est correct. Montrez la planche à l’utilisateur ainsi que le coût estimé des clips. Arrêtez-vous et attendez. - Clips, uniquement après l’accord de l’utilisateur.
kling-frames <job>écritwork/kling/<shot>_start.jpg(plus_end.jpglorsque le clip a une image de fin) et affiche chaque description. Importez les images dans votre service image-à-vidéo (OpenArt : importez, estimez le coût avecopenart_model_cost, puis générez), sous une ligne AUTH dans~/video-studio/relay/auth.md. Enregistrez le téléchargement, puisprep-clip <job> <download.mp4> --shot <id>. La durée du clip définit la durée de son plan. - Aperçu, deuxième étape de validation.
preview <job>génère l’aperçu de l’extrait avec le son verswork/preview_clip.mp4. Vérifiez le mouvement image par image, relancezstills, puis montrez l’aperçu et la nouvelle planche à l’utilisateur. Arrêtez-vous et attendez. - Texte de publication. Écrivez
postdans job.json : une courtecaption, puisinstagram,tiktok,youtube(titre et description),facebook,hooks,orderet une notecover. Le moteur ajoute le bloc de signature fixe desr_post.pyà chaque légende. Modifiez ce bloc pour votre marque. Terminé quandkit <job>n’affiche aucune ligne "post copy not ready". - Approbation et rendu. Après l’accord de l’utilisateur :
approve <job>, puisrender <job>. Cela écritout/final_9x16_vhs.mp4(la version bande, plus lente),out/cover.jpg,out/post.txtetout/posts.md. Ensuite,render <job> --cleanécrit la version propreout/final_9x16.mp4. Chaque rendu produit également un jumeau_nomusic(effets sonores, sans piste musicale). Vérifiez la ligne1080x1920 30/1 <durée>s, audiodans les logs, puis extrayez les images aux coupures.--out <chemin>crée un rendu séparé qui laisseout/et l’état du job intacts. - Upload.
upload <job>envoie les versions finales, les jumeaux, la couverture et le kit de publication vers votre stockage CDN (BunnyCDN, clés dansconfig.env). Il refuse si le texte de publication contient des légendes vides ou des<placeholders>restants. Un ré-upload crée un nouveau nom (_v2) car les CDN continuent de servir l’ancien fichier à un chemin réutilisé. Donnez à l’utilisateur les nouvelles URLs et collez les légendes par plateforme deposts.md. La publication est l’étape de l’utilisateur.
L’étape de validation par aperçu (imposée dans le code)
render est bloqué jusqu’à approve, et approve ne fonctionne que sur une planche créée à partir du job actuel. Tout changement dans l’image annule l’approbation : plans, personnages, plaque, aspect, découpes, nouveau clip, ou tout chemin dans la partie visuelle de job.json. Les modifications audio et de texte de publication ne l’annulent pas. Après un changement d’image, fabriquez une nouvelle planche et montrez-la à nouveau. render --no-preview est réservé à une renonciation explicite de l’utilisateur pour ce job uniquement.
Mouvement caméra-first
Les plans de mouvement sont des clips image-à-vidéo caméra-first, écrits comme des prises de vue réelles : un rig caméra et un objectif, un seul mouvement de caméra avec "pas un zoom, pas une coupe", puis l’action. Commencez par le niveau de résolution basse. Les plans fixes avec des ralentis lents ressemblent à un diaporama.
- Image de début uniquement : la caméra est libre (dolly, arc, avancée).
- Une poussée qui doit atterrir sur une pose : ajoutez une image de fin, un recadrage de la pose finale à environ 1,12x. La poussée atterrit alors exactement là. Un gros plan début seulement peut couper la tête.
- Un clip fixe (
clipavec des chemins d’imagestartetend) doit suivre un plan fixe dontsrcest son image de début. "in": 1.0saute la première seconde d’un clip.dur: "clip"prend la durée réelle du clip, et le planfillabsorbe la différence."gain"assombrit un clip."lights_out": {"at": 2.8, "flicker": 0.7, "floor": 0.04}fait vaciller la lumière et descend jusqu’à presque noir, fait dans le montage gratuitement. Associez-le à un effet sonore correspondant.- Gardez la menace hors écran. Un noir et un non-vu font plus peur qu’une créature à l’écran.
- Gardez les tirs d’armes hors écran : coupez au noir et laissez le son les porter. Les modèles tirent même quand on leur dit de ne pas le faire, donc vérifiez les clips d’armes image par image et terminez le plan avant tout tir.
- Rédaction des instructions pour le modèle vidéo :
- Un mouvement continu lent. Nommez ce qui reste immobile (corps, pieds, arrière-plan).
- Décrivez comment les accessoires se comportent ("le bâton reste droit et ne balance jamais"). Évitez "balance".
- Décrivez ce qui doit apparaître. Les négations ("pas de brume") sont souvent ignorées, donc montrez moins.
- Lorsque l’accessoire bouge, tout le corps bouge avec : poids, torse, tête. Pieds plantés.
- Un gros plan a besoin d’une respiration lente et d’une petite inclinaison pendant la majeure partie du clip, puis d’un seul mouvement rapide. Sans cela, il a l’air figé.
- Durée du clip : de 3 à 5 secondes. Les clips plus longs donnent au modèle de la marge pour dériver.
Réglages de montage (gratuits, faits dans le montage)
"fade_in"fait apparaître un clip en fondu depuis le noir."flash"ajoute un flash blanc coupé dedans."handheld"(0 à 1) fait osciller les plans fixes. Utilisez 0 sur les clips caméra, qui ont leur propre mouvement.scanest une recherche à travers une lunette, en tant que plan séparé, sur un plan large fixe. N’utilisez jamais un panoramique du modèle vidéo pour cela, car un panoramique glisse comme un curseur :{"kind": "scan", "dur": 4.4, "src": "<plan large>", "span": 0.236, "scope": {"radius": 0.445, "sway": 16, "steady": 2.4}, "path": [[0.0, 0.13, 0.24], [3.2, 0.645, 0.345]]}Chaque point du chemin est[secondes, x, y]sur le plan. Le viseur poursuit le chemin sur un ressort, donc il dépasse, corrige et atterrit sur le dernier point. Dites au modèle vidéo "pas de cercle, pas de réticule" si un clip est montré à travers une lunette. Le montage dessine l’anneau."live"sur un scan joue un clip large à l’intérieur du plan fixe à partir d’une seconde donnée, afin qu’un sujet bouge à vitesse réelle lorsque l’objectif le trouve. Utilisez-le pour supprimer une pause.- Un petit mouvement mécanique que le modèle ne fera pas (une gâchette, un interrupteur) : montez-le dans le montage à partir de l’image clé. Découpez la partie mobile en polygone, remplissez derrière, tournez-la sur son articulation sous une seule poussée lente. Recadrez pour que le mouvement remplisse le téléphone.
shirt"from_black": 1.0, "from_white": 0fait apparaître la révélation en fondu depuis le noir lorsque le storyboard n’a pas de blanc.
Plans fixes plein cadre et images clés
Utilisez-les lorsqu’il n’y a pas de rendus de personnage, ou lorsque le storyboard a des gros plans et des plans subjectifs.
- Un plan
stillprend une image plein cadresrc, avecpush,anchor[x, y],fade_in,fade_outetflash. - Les images clés proviennent d’un modèle d’édition d’image, 9:16. Donnez-lui la fiche personnage et la scène comme références, la fiche en premier. Dans un test, seules les deux premières références ont atteint le modèle, donc gardez les plus importantes en premier.
- L’image de fin d’un clip est une modification de son image de début ("la même image, seulement..."), afin que les deux s’alignent. Un petit changement est plus rapide en édition locale dans le code qu’en édition modèle.
- Un gros plan correspond à la vue propre de la fiche : un plan de côté est le vrai profil de la fiche.
- Un crâne de profil garde des proportions réelles (un crâne rond au-dessus d’un visage court). Une capuche suit le crâne et couvre le dessus et l’arrière. Dites-le dans l’instruction.
- Jugez les couvre-chefs par leur silhouette de côté. Décrivez la silhouette ("court, rond, se termine à l’arrière de la tête"). Des mots comme "grand" ou "pointu" font pousser un chapeau de sorcier aux modèles d’image.
- Une main est à peu près aussi longue que le crâne est haut. Pour les mains squelettiques, nommez les os séparés des doigts. "Épais massif" seul donne un poing.
- Un plan d’ouverture commence haut et large sur tout le décor, puis descend vers le personnage. Faites d’abord le plan large et prenez l’image de fin rapprochée comme un recadrage de celui-ci. Une édition qui dit "la caméra a bougé" a tendance à redimensionner le personnage sur place à la place.
Brouillon gratuit du storyboard d’abord
Avant tout appel payant, esquissez chaque panneau sur le serveur multimédia (FLUX, environ 8 secondes chacun) dans work/keys/, puis exécutez stills. L’utilisateur voit l’ensemble gratuitement. Un brouillon ne tient pas un personnage, donc dites-le lorsque vous le montrez. Les images clés payantes remplacent les brouillons. Sur un nouveau personnage, la fiche personnage est le premier appel payant. Chaque image clé prend ensuite cette fiche comme première référence.
Gardez une direction d’écran par personnage (miroir d’un brouillon s’il fait face au mauvais côté). Les personnages récurrents sont découpés à partir de leurs vraies images clés, jamais d’un brouillon.
Gardez chaque personnage récurrent dans assets/characters/<nom>/ avec un README : la fiche, les règles de costume, les décors qu’ils utilisent. Lisez le README avant toute image clé.
Musique et son
- Piste musicale : instrumentale, environ 30 secondes, écrite en fonction de la timeline que
checkimprime. Un arc typique : un impact sur le logo, une ambiance sombre sous le dolly, une montée progressive à travers le clip et la lueur, la chute sur le blanc, un impact final sur la carte. Générez-la avec ElevenLabs music, ou utilisez votre propre piste sous licence. Enregistrez-la dansassets/music/<nom>.mp3et mettez l’instruction dansaudio.prompt. - Les effets sonores se trouvent dans
assets/sfx/(impact, whoosh, riser). Ajoutez des entréesaudio.sfxancrées à un plan. Créez-en un nouveau lorsque l’accessoire change. audio.mute: [<ids de plan>]coupe la musique durement à travers ces plans et laisse les effets sonores jouer. Utilisez-le pour "coupé au noir, puis coups de feu".- Les salves de coups de feu générées se fondent en un seul mur de bruit. Générez un coup propre et superposez la salve localement : un shelf bas, un sub thump descendant sous chaque impact, de petites variations de hauteur et de niveau par impact, puis un limiteur.
Coûts
Les plaques, les découpes et le rendu local sont gratuits. Les images clés, les clips (OpenArt ou similaire) et les musiques et effets sonores ElevenLabs coûtent des crédits. Citez chaque appel d’abord et gardez la ligne AUTH dans ~/video-studio/relay/auth.md qui le couvre.
job.json, en bref
length (le point de coupure de la musique), product (url, titre, prix, tailles, couleurs), plate (src, prompt), figures (nom vers src, optionnel feet, centre_on), shots (une liste de id, kind, dur, panel et clés spécifiques au type), vhs, handheld, audio (music, prompt, music_gain, fade_out, mute, sfx), post (texte pour chaque plateforme), et un look optionnel. Les valeurs par défaut par type se trouvent dans SHOT_DEFAULTS dans sr_lib.py. Le texte à l’écran accepte {title}, {details} et {site}.
Pièges
- rembg est nécessaire pour les découpes :
pip install rembg. La commandecutoutsdit ce qui manque et comment le configurer. - La lueur trouve un orbe magenta par couleur. Pour un autre accessoire, définissez
light.at([x, y, r], fractions de la zone du personnage) etlight.rgb. Vérifiez le prix et les tailles par rapport à la page live. - ffmpeg doit être dans votre PATH. Tout le texte à l’écran est dessiné avec Pillow, donc ffmpeg n’a pas besoin du filtre drawtext.