Communitygithub.com

chrislitality-svg/script-to-video

Transformez n'importe quel document (rapport technique, article, mémoire, notice, vulgarisation) en une courte vidéo verticale 3:4 de vulgarisation/promotion (1080×1440, 60–150 s). Rendu 100% code : timeline déterministe HTML mono-fichier → captures d'écran frame par frame avec Playwright → encodage/assemblage avec ffmpeg. Aucun logiciel de montage, aucune API de génération vidéo IA, zéro coût local, reproductible frame par frame.

Qu'est-ce que script-to-video ?

Ce skill permet à un agent IA (comme Claude Code, Cursor, ou Codex) de transformer un document texte (rapport, article, notice, mémoire de vulgarisation) en une courte vidéo verticale 3:4 prête à diffuser (1080×1440, entre 60 et 150 secondes). Le processus est entièrement déterministe et local : il repose sur un fichier HTML unique qui définit la timeline de l'animation, des captures d'écran frame par frame via Playwright, et un encodage final avec ffmpeg. Cela signifie qu'il n'est nécessaire d'utiliser aucun logiciel de montage vidéo, aucune API de génération vidéo par IA, et qu'il n'y a aucun coût récurrent. Le skill est particulièrement adapté aux cas d'usage suivants : transformer un document existant en vidéo de promotion ou de vulgarisation scientifique ; produire des vidéos de data storytelling ou de vulgarisation de connaissances ; et pour une production vidéo en lots, vérifiable et reproductible. Il est conçu pour être exécuté directement par un LLM (modèle de langage) doté de fortes capacités de programmation, en suivant un pipeline de neuf étapes rigoureuses, de l'analyse du document à la validation finale de la vidéo. Chaque étape est auditée et reproductible.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add chrislitality-svg/script-to-video

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

script-to-video · Document → Vidéo verticale de vulgarisation

Trois principes directeurs, toutes les décisions y reviennent :

  1. Timeline déterministe : L'animation est une fonction pure setTime(t) – au même instant, le même rendu est toujours produit. Cela permet un audit par saut de frame arbitraire, des captures d'écran segmentées en parallèle, une preuve de cycle, et la modification d'une seule constante pour accélérer ou ralentir toute la vidéo.
  2. La durée mesurée de la voix-off pilote la timeline : Enregistrer la voix-off d'abord, mesurer la durée de chaque phrase, puis placer les limites des scènes – la synchronisation audio/visuelle est naturelle, aucun alignement ASR n'est nécessaire.
  3. L'œil de l'utilisateur ne doit pas être le premier contrôle qualité : L'audit programmatique (dépassement/chevauchement) doit être à zéro avant la capture d'écran, et l'inspection visuelle des keyframes est la dernière barrière pour l'esthétique.

Pipeline (Neuf étapes, retour à l'étape précédente si une étape échoue)

Document ─▶ ① Constitution des données ─▶ ② Découpage du script et des sous-titres ─▶ ③ Voix-off (durée mesurée)
     ─▶ ④ Synchronisation de la timeline ─▶ ⑤ Animation anim.html ─▶ ⑥ Double audit à zéro + inspection visuelle des keyframes
     ─▶ ⑦ Musique + mixage + mastering ─▶ ⑧ Capture frame par frame → encodage → assemblage ─▶ ⑨ Sept vérifications → Livraison

① Constitution des données

Lire l'intégralité du document, figer tous les chiffres/faits/noms qui doivent apparaître dans la vidéo sous forme d'une liste unique (écrite dans shots/facts.md). Par la suite, toute image, tout texte, tout sous-titre ne peut que référencer cette liste, aucune improvisation n'est autorisée.

  • Les chiffres vérifiables sont mis en avant, les détails non vérifiables sont laissés de côté (mieux vaut peu d'informations que des informations fausses).
  • Chaque chiffre n'est mentionné qu'une seule fois, placé au pic émotionnel.
  • Les chiffres doivent apparaître de manière « événementielle » : avec une construction dessinée, un comptage synchrone, une chute.

② Découpage du script et des sous-titres

Écrire le script de voix-off (shots/vo_lines.json) : une phrase par ligne, chaque phrase dure 4 à 12 secondes, le film total fait 8 à 16 phrases.

  • Les 5 premières secondes décident du visionnage complet : choisir parmi argent/conflit/suspense et le placer dans la première phrase (ex. « Si on vous donnait X pour construire une route – l'accepteriez-vous ? »).
  • Structure de référence : Accroche → Problème → Rejet → Solution → Vérification → Conclusion → Personnage → Fermeture (peut être adaptée).
  • Pour chaque phrase, spécifier manuellement le découpage des sous-titres ("cues": [...], chaque bloc ≤ 18 caractères), plus fiable qu'une coupure mécanique basée sur la ponctuation.

③ Voix-off

python templates/vo_tts.py (par défaut edge-tts, gratuit ; si un GPU local est disponible, un modèle de clonage vocal peut être utilisé, voir references/audio.md). Chaque phrase produit un fichier wav + la durée mesurée dans audio/vo/vo_dur.json.

  • Les années et nombres en chiffres chinois sont transcrits lettre par lettre (2022 → 二零二二) ; le point décimal devient « 点 ».
  • Réponse vide occasionnelle du TTS : le script doit réessayer et pouvoir reprendre là où il s'est arrêté.

④ Synchronisation de la timeline

python templates/sync.py : durée de la scène = avance de 0,25 s + durée de la phrase + respiration finale (0,5–1,9 s). Écrit automatiquement TL (timeline) et CUES (sous-titres) dans anim.html, et génère shots/timeline.json pour le mixage. Après un changement de voix-off, relancer impérativement cette étape, et mettre à l'échelle les moments d'action synchronisés avec la voix-off dans la scène selon le ratio des anciennes et nouvelles durées.

⑤ Animation

Copier templates/anim.html et modifier les scènes. La structure comprend déjà : système de design style plan bleu, fonctions utilitaires, auditeur, transition par ligne de balayage, calque de sous-titres, 3 scènes d'exemple. Mode de cœur :

  • Chaque scène defscene(id, cam=>{...; return (t,d)=>{...}}), le render est une fonction pure.
  • Deux couches de mouvement : action principale (tracer une ligne, chute) + couche continue (ligne pointillée qui avance, flottement, pulsation).
  • La caméra a toujours un zoom avant de 1,4 % à 3 % – l'image n'est pas une image fixe.
  • « Sortie d'abord, puis entrée » : les anciens éléments sortent complètement avant que les nouveaux n'entrent, pas de superposition croisée.
  • Directives visuelles et langage des animations : lire references/design-system.md et references/motion.md.

⑥ Audit + Inspection visuelle (Porte qualité, non optionnelle)

Exécuter dans le navigateur auditText() (texte en dehors des limites) et auditOverlap() (chevauchements d'éléments), doit être à zéro avant de capturer. L'auditeur ne détecte pas le « laid » : capturer des keyframes au pic de contenu de chaque scène et les inspecter visuellement (texte coupé, composition vide, dérive de couleur, forme du graphique), corriger immédiatement les défauts. Pour les chevauchements intentionnels du design, ajouter data-okov="1" à l'élément pour l'exempter.

⑦ Son

python templates/music.py pour générer une musique de fond légère par programme (aucun risque de droit d'auteur) ; ou utiliser un morceau personnel (attention aux droits d'auteur). python templates/mix.py : Normalisation RMS de la voix-off → Ducking de la musique (réduction du volume près de la voix) → Effets sonores uniquement pour les accents (≤2 thuds par scène, pas de whoosh en fond – les effets sont des signes de ponctuation, pas du fond) → Limiteur d'enveloppe de crête personnalisé → ffmpeg loudnorm deux passes jusqu'à -14 LUFS / TP -1,5.

⑧ Rendu

python templates/shoot.py 0 <dur> a --html anim.html   # ×N segments en parallèle
python templates/render.py                              # Encodage → Vérification de la dernière frame → Assemblage → Composition

Capture d'écran frame par frame avec Playwright (device_scale_factor=2, JPEG q93) → Encodage segmenté x264 crf19 → Vérification de la dernière frame de chaque segment vs. image source (RMS<8, détection des segments défectueux sans erreur) → Concat → Composition audio/vidéo (pan copie explicite en stéréo, +faststart).

⑨ Sept vérifications

python templates/check.py : Boucle sans couture (RMS<5 entre la première et la dernière frame) · Piste audio présente · Visibilité des sous-titres · Ordre des couleurs du style (vérifier que B>G>R pour chaque frame pour éviter la dérive de couleur) · Frames vides · Taille/Durée · faststart. Livré seulement si tout est PASS. Livrables : MP4 final + sous-titres SRT + légende de publication (titre ≤15 caractères / résumé en une phrase / hashtags).

Environnement

python 3.10+, pip install playwright numpy soundfile pillow edge-tts
playwright install chromium
ffmpeg (disponible dans le PATH)

Conventions de répertoire (par projet)

<project>/
├── shots/vo_lines.json    # Script + découpage des sous-titres (source unique de contenu)
├── shots/facts.md         # Constitution des données
├── shots/timeline.json    # Généré par sync.py, pour le mixage
├── tools/web/anim.html    # Animation (copier et modifier depuis templates/anim.html)
├── audio/vo|music|mix/    # Audio
└── out/                   # Frames, segments, fichier final

Lignes rouges

  • Ne pas inventer : les données, les noms, les événements doivent avoir une source ; [à vérifier] ne pas entrer en voix-off tant que ce n'est pas résolu.
  • Le rouge ne doit exprimer que le sens du « jugement » (élimination/certification), jamais comme décoration.
  • Citer des musiques externes nécessite d'abord une confirmation des droits ; par défaut, utiliser la musique générée par programme.
  • Pour les noms de personnes réelles, les suffixes d'entreprise et les chiffres, vérifier chaque élément par rapport à la constitution des données avant livraison.

Références

FichierContenu
references/design-system.mdSystème visuel : discipline des couleurs, trois niveaux de taille de police, légendes, grammaire de dessin
references/motion.mdListe du langage des animations : quand utiliser quel type d'animation, paramètres
references/audio.mdPipeline audio : sélection du TTS, formules de mixage, objectifs du mastering
references/pitfalls.mdListe des pièges (classés par coût, à consulter en premier en cas de problème)
templates/Squelettes et scripts de pipeline directement exécutables

Skills associés