Utilisation vidéo
Principe
- Le LLM raisonne à partir de la transcription brute + des visuels à la demande. Le seul artefact dérivé qui mérite sa place est une transcription condensée au niveau des phrases (
takes_packed.md). Tout le reste — marquage des remplissages, détection des prises, classification des plans, notation de l'emphase — vous le dérivez au moment de la décision. - L'audio est primaire, les visuels suivent. Les candidats à la coupe proviennent des limites de parole et des silences. Plongez dans les visuels uniquement aux points de décision.
- Demandez → confirmez → exécutez → itérez → persistez. Ne touchez jamais à la coupe tant que l'utilisateur n'a pas confirmé la stratégie en langage clair.
- Généralisez. Ne supposez pas de quel type de vidéo il s'agit. Regardez le matériel, demandez à l'utilisateur, puis montez.
- La liberté artistique est la valeur par défaut. Chaque valeur, préréglage, police, couleur, durée, structure de hauteur et technique spécifique dans ce document est un exemple concret issu d'une vidéo éprouvée — pas un ordre. Lisez-les pour comprendre ce qui est possible et pourquoi chacun a fonctionné. Ensuite, faites vos propres choix de goût en fonction de ce qu'est réellement le matériel et de ce que l'utilisateur veut réellement. Les SEULES choses que vous DEVEZ faire sont dans la section Règles strictes ci-dessous. Tout le reste vous appartient.
- Inventez librement. Si le matériel nécessite une technique non décrite ici — écran partagé, incrustation, cartes d'identité en tiers inférieur, coupes de réaction, variations de vitesse, arrêts sur image, fondus enchaînés, raccords de mouvement, L-cuts, J-cuts, variations de vitesse sur la respiration, peu importe — construisez-la. Les assistants sont ffmpeg et PIL. Ils peuvent faire tout ce que le format supporte. N'attendez pas la permission.
- Vérifiez votre propre sortie avant de la montrer à l'utilisateur. Si vous ne la livreriez pas, ne la présentez pas.
Règles strictes (correction de production — non négociables)
Voici les points où une déviation produit des échecs silencieux ou une sortie cassée. Ce ne sont pas des questions de goût, ce sont des questions de correction. Mémorisez-les.
- Les sous-titres sont appliqués EN DERNIER dans la chaîne de filtres, après chaque superposition. Sinon, les superpositions cachent les légendes. Échec silencieux.
- Extraction par segment → concaténation sans perte
-c copy, pas de graphe de filtres en un seul passage. Sinon, vous double-encoderez chaque segment lorsque des superpositions sont ajoutées. - Fondu audio de 30 ms à chaque limite de segment (
afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03). Sinon, des clics audibles à chaque coupe. - Les superpositions utilisent
setpts=PTS-STARTPTS+T/TBpour décaler l'image 0 de la superposition au début de sa fenêtre. Sinon, vous verrez le milieu de l'animation pendant la fenêtre de superposition. - Le SRT maître utilise les décalages de la timeline de sortie :
output_time = word.start - segment_start + segment_offset. Sinon, les légendes se désalignent après la concaténation des segments. - Ne coupez jamais à l'intérieur d'un mot. Snap chaque bord de coupe sur une limite de mot à partir de la transcription Scribe.
- Pad chaque bord de coupe. Fenêtre de travail : 30-200 ms. Les horodatages Scribe dérivent de 50 à 100 ms — le padding absorbe la dérive. Plus serré pour les rythmes rapides, plus lâche pour le cinématographique.
- ASR textuel mot à mot uniquement. Jamais en mode SRT/expression (perd les données d'écart inférieures à la seconde). Jamais de remplissages normalisés (perd le signal éditorial).
- Cachez les transcriptions par source. Ne retranscrivez jamais à moins que le fichier source lui-même n'ait changé.
- Sous-agents parallèles pour plusieurs animations. Jamais séquentiels. Lancez N en même temps via l'outil
Agent; le temps total ≈ le plus lent. - Confirmation de la stratégie avant exécution. Ne touchez jamais à la coupe tant que l'utilisateur n'a pas approuvé le plan en langage clair.
- Toutes les sorties de session dans
<videos_dir>/edit/. N'écrivez jamais à l'intérieur du répertoire du projetvideo-use/.
Tout le reste dans ce document est un exemple concret. Déviez chaque fois que le matériel le demande.
Structure des répertoires
Le skill réside dans video-use/. Les séquences utilisateur sont placées où ils le souhaitent. Toutes les sorties de session vont dans <videos_dir>/edit/.
<videos_dir>/
├── <fichiers sources, intacts>
└── edit/
├── projet.md ← mémoire ; ajouté à chaque session
├── takes_packed.md ← transcriptions au niveau des phrases, la vue de lecture principale du LLM
├── edl.json ← décisions de coupe
├── transcripts/<nom>.json ← JSON Scribe brut mis en cache
├── animations/slot_<id>/ ← source + rendu + raisonnement par animation
├── clips_grades/ ← extractions par segment avec étalonnage + fondus
├── master.srt ← sous-titres de la timeline de sortie
├── downloads/ ← sorties yt-dlp
├── verify/ ← images de débogage / PNG de timeline
├── preview.mp4
└── final.mp4
Configuration
L'installation initiale se trouve dans install.md (clone, dépendances, ffmpeg, enregistrement du skill, clé API). Ne l'exécutez pas à chaque session ; au démarrage à froid, vérifiez simplement :
ELEVENLABS_API_KEYrésout — soit dans l'environnement, soit dans.envà la racine du dépôt video-use. Si manquant, demandez à l'utilisateur d'en coller une et écrivez-la dans.env(jamais dans le<videos_dir>de l'utilisateur).ffmpeg+ffprobedans le PATH.- Dépendances Python installées (
uv syncoupip install -e .dans le dépôt). - Node.js + npm disponibles si la session a besoin de créneaux HyperFrames ou Remotion. HyperFrames nécessite actuellement Node.js 22+.
yt-dlp, HyperFrames, Remotion, Manim installés uniquement lors de la première utilisation.- La configuration de la première animation se fait dans le répertoire du slot, jamais à la racine du dépôt video-use. HyperFrames peut être invoqué avec
npx --yes hyperframes ...; Remotion peut être échafaudé avecnpx create-video@latestou installé comme dépendance locale du projet avant d'utiliser sa commanderemotion render. - Ce skill fournit
skills/manim-video/. Lisez son SKILL.md lors de la construction d'un slot Manim.
Les aides (helpers/transcribe.py, helpers/render.py, etc.) se trouvent à côté de ce SKILL.md. Résolvez leurs chemins relatifs au répertoire contenant ce fichier — le skill est généralement lié symboliquement à ~/.claude/skills/video-use/ ou ~/.codex/skills/video-use/.
Aides
transcribe.py <vidéo>— appel Scribe pour un seul fichier.--num-speakers Noptionnel. Mis en cache.transcribe_batch.py <répertoire_vidéos>— transcription parallèle avec 4 workers. Utiliser pour plusieurs prises.pack_transcripts.py --edit-dir <rép>—transcripts/*.json→takes_packed.md(niveau phrase, coupe sur silence ≥ 0.5s).timeline_view.py <vidéo> <début> <fin>— filmstrip + PNG de forme d'onde. Exploration visuelle à la demande. Pas un outil de balayage — utilisez-le aux points de décision, pas constamment.render.py <edl.json> -o <sortie>— extraction par segment → concaténation → superpositions (décalées PTS) → sous-titres EN DERNIER.--previewpour 720p rapide.--build-subtitlespour générer master.srt en ligne.grade.py <entrée> -o <sortie>— chaîne de filtres ffmpeg pour l'étalonnage. Préréglages +--filter '<brut>'pour personnalisé.
Pour les animations, créez <edit>/animations/slot_<id>/ avec Bash et lancez un sous-agent via l'outil Agent.
Le processus
-
Inventaire.
ffprobechaque source.transcribe_batch.pysur le répertoire.pack_transcripts.pypour produiretakes_packed.md. Échantillonnez une ou deuxtimeline_views pour une première impression visuelle. -
Pré-analyse des problèmes. Un passage sur
takes_packed.mdpour noter les lapsus verbaux, les erreurs évidentes ou les formulations à éviter. Liste simple, intégrée au brief de l'éditeur. -
Dialogue. Décrivez ce que vous voyez en langage clair. Posez des questions adaptées au matériel. Collectez : type de contenu, durée/format cible, direction esthétique/marque, ambiance rythmique, moments à préserver, moments à couper, préférences d'animation et d'étalonnage, besoins en sous-titres. N'utilisez pas une liste de contrôle fixe — les bonnes questions sont différentes à chaque fois.
-
Proposez une stratégie. 4-8 phrases : forme, choix de prises, direction de coupe, plan d'animation, direction d'étalonnage, style de sous-titres, estimation de durée. Attendez la confirmation.
-
Exécutez. Produisez
edl.jsonvia le brief du sous-agent éditeur. Explorez avectimeline_viewaux moments ambigus. Construisez les animations dans des sous-agents parallèles. Appliquez l'étalonnage par segment. Composez viarender.py. -
Prévisualisation.
render.py --preview. -
Auto-évaluation (avant de montrer à l'utilisateur). Lancez
timeline_viewsur la sortie rendue (pas les sources) à chaque limite de coupe (fenêtre ±1,5 s). Vérifiez chaque image pour :- Discontinuité visuelle / flash / saut à la coupe
- Pic de forme d'onde à la limite (clic audio ayant échappé au fondu de 30 ms)
- Sous-titre caché derrière une superposition (violation de la règle 1)
- Superposition mal alignée ou affichant les mauvaises images (violation de la règle 4)
Échantillonnez également : les 2 premières secondes, les 2 dernières secondes et 2-3 points intermédiaires — vérifiez la cohérence de l'étalonnage, la lisibilité des sous-titres, la cohérence globale. Lancez
ffprobesur la sortie pour vérifier que la durée correspond à l'attente de l'EDL.Si quelque chose échoue : corrigez → re-rendu → réévaluez. Limitez à 3 passes d'auto-évaluation — si des problèmes persistent après 3, signalez-les à l'utilisateur plutôt que de boucler indéfiniment. Ne présentez la prévisualisation qu'une fois l'auto-évaluation réussie.
-
Itérez + persistez. Retour en langage naturel, replanification, re-rendu. Ne retranscrivez jamais. Rendu final sur confirmation. Ajoutez à
project.md.
Art de la coupe (techniques)
- L'audio d'abord. Coupes candidates à partir des limites de mots et des silences.
- Préservez les pics. Rires, chutes, temps forts. Prolongez après les chutes pour inclure les réactions — le rire EST le temps fort.
- Les changements d'intervenant bénéficient d'un espace entre les énoncés. Valeurs courantes : 400-600 ms. Moins pour les rythmes rapides, plus pour le cinématographique. Choix de goût.
- Les événements audio comme signaux.
(rires),(soupirs),(applaudissements)marquent les temps forts. Prolongez après eux. - Les silences sont des candidats à la coupe. Les silences ≥ 400 ms sont généralement les plus propres. Les limites de phrase de 150 à 400 ms sont utilisables avec une vérification visuelle. < 150 ms est dangereux (milieu de phrase).
- Exemple de padding de coupe (la vidéo de lancement livrée avec ceci) : 50 ms avant le premier mot conservé, 80 ms après le dernier. Plus serré pour l'énergie du montage, plus lâche pour le documentaire. Restez dans la fenêtre de travail de 30 à 200 ms (règle stricte 7).
- Ne raisonnez jamais l'audio et la vidéo indépendamment. Chaque coupe doit fonctionner sur les deux pistes.
La transcription condensée (vue de lecture primaire)
pack_transcripts.py lit tous les transcripts/*.json et produit un fichier markdown où chaque prise est une liste de lignes au niveau des phrases, chacune préfixée par sa plage temporelle [début-fin]. Les phrases coupent sur tout silence ≥ 0,5 s OU changement d'intervenant. C'est l'artefact que le sous-agent éditeur lit pour choisir les coupes — il donne une précision au niveau des mots à partir du seul texte pour 1/10 des jetons du JSON brut.
Exemple de ligne :
## C0103 (durée : 43,0s, 8 phrases)
[002.52-005.36] S0 Quatre-vingt-dix pour cent de ce qu'un agent web fait est complètement gaspillé.
[006.08-006.74] S0 Nous avons corrigé cela.
Brief du sous-agent éditeur (pour la sélection multi-prises)
Lorsque la tâche est "choisir la meilleure prise de chaque temps fort parmi plusieurs clips", lancez un sous-agent dédié avec un brief façonné comme suit. La structure est porteuse de charge ; l'exemple de forme de pitch ne l'est pas.
Vous montez une vidéo de <type>. Choisissez la meilleure prise de chaque temps fort et
assemblez-les chronologiquement par temps fort, pas par ordre de clip source.
ENTRÉES :
- takes_packed.md (transcriptions au niveau des phrases avec annotations temporelles de toutes les prises)
- Contexte produit/narratif : <2 phrases de l'utilisateur>
- Intervenant(s) : <nom, rôle, note sur le style de diffusion>
- Structure attendue : <choisissez un archétype ou inventez-en un>
- Lapsus verbaux à éviter : <liste du passage de pré-analyse>
- Durée cible : <secondes>
Archétypes structurels courants (choisissez, adaptez ou inventez) :
- Lancement tech / démo : ACCROCHE → PROBLÈME → SOLUTION → BÉNÉFICE → EXEMPLE → APPEL À L'ACTION
- Tutoriel : INTRODUCTION → CONFIGURATION → ÉTAPES → PIÈGES → RÉCAPITULATIF
- Interview : (QUESTION → RÉPONSE → SUIVI) répéter
- Voyage / événement : ARRIVÉE → TEMPS FORTS → MOMENTS CALMES → DÉPART
- Documentaire : THÈSE → PREUVES → CONTRE-ARGUMENT → CONCLUSION
- Musique / performance : INTRODUCTION → COUPLET → REFRAIN → PONT → OUTRO
- Ou inventez le vôtre.
RÈGLES :
- Les heures de début/fin doivent tomber sur des limites de mots de la transcription.
- Paddez les limites de coupe (fenêtre de travail 30-200 ms).
- Privilégiez les silences ≥ 400 ms comme cibles de coupe.
- Les lapsus inévitables sont conservés s'il n'existe pas de meilleure prise. Notez-les dans "raison".
- Si hors budget, révisez : supprimez un temps fort ou réduisez les fins. Rapportez le total et autocorrigez-vous.
SORTIE (tableau JSON, pas de prose) :
[{"source": "C0103", "start": 2.42, "end": 6.85, "beat": "ACCROCHE",
"quote": "...", "reason": "..."}, ...]
Renvoie l'EDL final et une vérification de la durée totale en une ligne.
Étalonnage des couleurs (sur demande)
Votre travail consiste à raisonner sur l'image, pas à appliquer un préréglage. Regardez une image (via timeline_view), décidez ce qui ne va pas, ajustez une chose, regardez à nouveau.
Le modèle mental est ASC CDL. Par canal : out = (in * pente + décalage) ** puissance, puis saturation globale. pente → hautes lumières, décalage → ombres, puissance → tons moyens.
Exemples de chaînes de filtres (grade.py a --list-presets ; utilisez-les comme points de départ ou créez les vôtres) :
warm_cinematic— rétro/technique, division subtile bleu/orange, désaturé. Livré dans une vraie vidéo de lancement. Sûr pour les têtes parlantes.neutral_punch— correctif minimal : augmentation du contraste + courbe en S douce. Pas de décalage de teinte.none— copie directe. Par défaut lorsque l'utilisateur n'a pas demandé.
Pour tout le reste — portrait, nature, produit, vidéo musicale, documentaire — inventez votre propre chaîne. grade.py --filter '<ffmpeg brut>' accepte n'importe quelle chaîne de filtres.
Règles strictes : appliquez par segment pendant l'extraction (pas après la concaténation, qui ré-encode deux fois). Ne soyez jamais agressif sans tester les tons chair.
Sous-titres (sur demande)
Les sous-titres ont trois dimensions qui méritent réflexion : le regroupement (1/2/3/phrase par ligne), la casse (MAJUSCULE/Titre/Naturelle) et le placement (marge par rapport au bas). La bonne combinaison dépend du contenu.
Styles éprouvés — choisissez, adaptez ou inventez :
bold-overlay — lancement tech court, social rapide. Regroupement par 2 mots, MAJUSCULES, coupe sur la ponctuation, Helvetica 18 Gras, blanc sur contour, MarginV=35. render.py est livré avec ceci comme SUB_FORCE_STYLE.
FontName=Helvetica,FontSize=18,Bold=1,
PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,BackColour=&H00000000,
BorderStyle=1,Outline=2,Shadow=0,
Alignment=2,MarginV=35
natural-sentence (si vous inventez ce mode) — narratif, documentaire, éducatif. Regroupement par 4-7 mots, casse de phrase, coupe sur les pauses naturelles, MarginV=60-80, police plus grande
...
[tronqué pour la traduction]