Communitygithub.com

sediman-agent/OpenSkynet

Modifiez n'importe quelle vidéo par conversation. Transcription, découpage, étalonnage, génération d'animations superposées, gravure de sous-titres — pour têtes parlantes, montages, tutoriels, voyages, interviews. Pas de préréglages, pas de menus. Posez des questions, confirmez le plan, exécutez, itérez, persistez. Les règles de correction de production sont dures ; tout le reste est liberté artistique.

Qu'est-ce que OpenSkynet ?

Ce skill vous permet de modifier des vidéos en utilisant le langage naturel, en éliminant les interfaces complexes et les menus. Il est conçu pour tous les types de contenu, des tutoriels aux montages dynamiques, en passant par les interviews et les documentaires. Le processus s'appuie sur une transcription au niveau du mot, des décisions de coupe audio d'abord, et une exécution en parallèle des animations. Vous pouvez l'utiliser avec Claude Code, Cursor ou Codex. Le skill vous guide à travers une série d'étapes : inventorier les sources, discuter de la stratégie, la confirmer, exécuter les coupes et les effets, puis itérer. Il comprend 12 règles dures non-négociables pour garantir la qualité de production, comme l'application des sous-titres en dernier dans la chaîne de filtres pour éviter qu'ils ne soient masqués. Enfin, le skill favorise la liberté artistique : vous pouvez inventer de nouvelles techniques à l'aide de ffmpeg et PIL sans avoir besoin d'autorisation.

Compatible avec✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/sediman-agent/OpenSkynet/tree/HEAD/skills/browser-use_video-use/video-use

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Utilisation Vidéo

Principe

  1. Le LLM raisonne à partir de la transcription brute + des visuels à la demande. Le seul artefact dérivé qui mérite sa place est une transcription compacte au niveau de la phrase (takes_packed.md). Tout le reste — étiquetage des remplissages, détection des reprises, classification des plans, score d'accentuation — vous le déduisez au moment de la décision.
  2. L'audio est primaire, le visuel suit. Les candidats à la coupe proviennent des limites de parole et des silences. Plongez dans le visuel uniquement aux points de décision.
  3. Demander → confirmer → exécuter → itérer → persister. Ne touchez jamais au montage avant que l'utilisateur n'ait confirmé la stratégie en langage clair.
  4. Généralisez. Ne supposez pas le type de vidéo. Regardez le matériel, demandez à l'utilisateur, puis montez.
  5. La liberté artistique est la valeur par défaut. Chaque valeur spécifique, préréglage, police, couleur, durée, structure de hauteur et technique dans ce document est un exemple concret issu d'une vidéo éprouvée — pas un ordre. Lisez-les pour comprendre ce qui est possible et pourquoi cela a fonctionné. Ensuite, faites vos propres choix de goût en fonction de ce qu'est réellement le matériel et de ce que l'utilisateur veut réellement. Les seules choses que vous DEVEZ faire se trouvent dans la section Règles Dures ci-dessous. Tout le reste vous appartient.
  6. Inventez librement. Si le matériel nécessite une technique non décrite ici — écran partagé, incrustation, cartes d'identité en tiers inférieur, coupes de réaction, rampes de vitesse, arrêts sur image, fondus enchaînés, raccords dans le mouvement, L-cuts, J-cuts, rampes de vitesse sur la respiration, etc. — construisez-la. Les outils sont ffmpeg et PIL. Ils peuvent tout faire ce que le format supporte. N'attendez pas la permission.
  7. Vérifiez votre propre résultat avant de le montrer à l'utilisateur. Si vous ne livreriez pas, ne le présentez pas.

Règles Dures (correction de production — non-négociables)

Ce sont les choses où une déviation produit des échecs silencieux ou des résultats cassés. Ce n'est pas une question de goût, c'est une question de justesse. Mémorisez-les.

  1. Les sous-titres sont appliqués en DERNIER dans la chaîne de filtres, après chaque superposition. Sinon, les superpositions cachent les légendes. Échec silencieux.
  2. Extraction par segment → concaténation -c copy sans perte, et non un seul graphe de filtres en un passage. Sinon, vous double-encodez chaque segment lorsque des superpositions sont ajoutées.
  3. Fondu audio de 30 ms à chaque limite de segment (afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03). Sinon, des clics audibles à chaque coupe.
  4. Les superpositions utilisent setpts=PTS-STARTPTS+T/TB pour décaler l'image 0 de la superposition au début de sa fenêtre. Sinon, vous voyez le milieu de l'animation pendant la fenêtre de superposition.
  5. Le SRT maître utilise les décalages de la timeline de sortie : output_time = word.start - segment_start + segment_offset. Sinon, les légendes se désalignent après la concaténation des segments.
  6. Ne coupez jamais à l'intérieur d'un mot. Accrochez chaque bord de coupe à une limite de mot à partir de la transcription Scribe.
  7. Ajoutez une marge à chaque bord de coupe. Fenêtre de travail : 30–200 ms. Les horodatages Scribe dérivent de 50 à 100 ms — la marge absorbe la dérive. Plus serré pour les rythmes rapides, plus lâche pour les cinématographiques.
  8. Utilisez uniquement la transcription ASR textuelle au niveau du mot. Jamais le mode SRT/par phrase (perd les données des écarts inférieurs à la seconde). Jamais les remplissages normalisés (perd le signal éditorial).
  9. Mettez en cache les transcriptions par source. Ne retranscrivez jamais à moins que le fichier source lui-même n'ait changé.
  10. Sous-agents parallèles pour plusieurs animations. Jamais séquentiel. Lancez N en une fois via l'outil Agent ; le temps total d'exécution ≈ le plus lent.
  11. Confirmation de la stratégie avant exécution. Ne touchez jamais au montage avant que l'utilisateur n'ait approuvé le plan en langage clair.
  12. Toutes les sorties de session dans <videos_dir>/edit/. N'écrivez jamais à l'intérieur du répertoire du projet video-use/.

Tout le reste dans ce document est un exemple concret. Écartez-vous-en chaque fois que le matériel l'exige.

Structure des répertoires

Le skill vit dans video-use/. Les séquences de l'utilisateur se trouvent là où il les place. Toutes les sorties de session vont dans <videos_dir>/edit/.

<videos_dir>/
├── <fichiers sources, non touchés>
└── edit/
    ├── project.md              ← mémoire ; ajouté à chaque session
    ├── takes_packed.md         ← transcriptions au niveau de la phrase, la vue de lecture principale du LLM
    ├── edl.json                ← décisions de coupe
    ├── transcripts/<name>.json ← cache brut JSON Scribe
    ├── animations/slot_<id>/   ← source + rendu + raisonnement par animation
    ├── clips_graded/           ← extractions par segment avec étalonnage + fondus
    ├── master.srt              ← sous-titres de la timeline de sortie
    ├── downloads/              ← sorties yt-dlp
    ├── verify/                 ← images de débogage / PNG de timeline
    ├── preview.mp4
    └── final.mp4

Configuration

L'installation initiale se trouve dans install.md (clone, dépendances, ffmpeg, enregistrement du skill, clé API). Ne l'exécutez pas à chaque session ; au démarrage à froid, vérifiez simplement :

  • ELEVENLABS_API_KEY existe — soit dans l'environnement, soit dans un fichier .env à la racine du dépôt video-use. Si manquant, demandez à l'utilisateur d'en coller une et écrivez-la dans .env (jamais dans le <videos_dir> de l'utilisateur).
  • ffmpeg + ffprobe dans le PATH.
  • Les dépendances Python installées (uv sync ou pip install -e . dans le dépôt).
  • Node.js + npm disponibles si la session a besoin de slots HyperFrames ou Remotion. HyperFrames nécessite actuellement Node.js 22+.
  • yt-dlp, HyperFrames, Remotion, Manim installés uniquement lors de la première utilisation.
  • La configuration de l'animation pour la première utilisation se fait dans le répertoire du slot, jamais à la racine du dépôt video-use. HyperFrames peut être invoqué avec npx --yes hyperframes ... ; Remotion peut être échafaudé avec npx create-video@latest ou installé comme dépendance locale du projet avant d'utiliser sa commande remotion render.
  • Ce skill fournit skills/manim-video/. Lisez son SKILL.md lors de la construction d'un slot Manim.

Les outils (helpers/transcribe.py, helpers/render.py, etc.) se trouvent à côté de ce SKILL.md. Résolvez leurs chemins par rapport au répertoire contenant ce fichier — le skill est généralement un lien symbolique dans ~/.claude/skills/video-use/ ou ~/.codex/skills/video-use/.

Outils

  • transcribe.py <video> — appel Scribe pour un fichier unique. --num-speakers N optionnel. Mis en cache.
  • transcribe_batch.py <videos_dir> — transcription parallèle avec 4 workers. Utilisez pour les prises multiples.
  • pack_transcripts.py --edit-dir <dir> — transcripts/*.json → takes_packed.md (niveau phrase, pause sur silence ≥ 0,5 s).
  • timeline_view.py <video> <start> <end> — bande d'images + forme d'onde PNG. Exploration visuelle à la demande. Pas un outil de balayage — utilisez-le aux points de décision, pas en continu.
  • render.py <edl.json> -o <out> — extraction par segment → concaténation → superpositions (décalées par PTS) → sous-titres en DERNIER. --preview pour un rendu rapide en 720p. --build-subtitles pour générer le master.srt en ligne.
  • grade.py <in> -o <out> — chaîne de filtres ffmpeg pour l'étalonnage. Préréglages + --filter '<raw>' pour un étalonnage personnalisé.

Pour les animations, créez <edit>/animations/slot_<id>/ avec Bash et lancez un sous-agent via l'outil Agent.

Le processus

  1. Inventaire. ffprobe chaque source. transcribe_batch.py sur le répertoire. pack_transcripts.py pour produire takes_packed.md. Échantillonnez une ou deux timeline_view pour une première impression visuelle.

  2. Pré-analyse des problèmes. Un passage sur takes_packed.md pour noter les lapsus verbaux, les erreurs de langage évidentes ou les formulations à éviter. Liste simple, intégrez-la dans le brief de l'éditeur.

  3. Dialogue. Décrivez ce que vous voyez en langage clair. Posez des questions façonnées par le matériel. Recueillez : type de contenu, durée/format cible, direction esthétique/de marque, sensation de rythme, moments à préserver, moments à couper, préférences d'animation et d'étalonnage, besoins en sous-titres. N'utilisez pas une liste de contrôle fixe — les bonnes questions sont différentes à chaque fois.

  4. Proposer une stratégie. 4 à 8 phrases : forme, choix de prises, direction de coupe, plan d'animation, direction d'étalonnage, style de sous-titres, estimation de la durée. Attendez la confirmation.

  5. Exécutez. Produisez edl.json via le bref sous-agent éditeur. Plongez dans timeline_view aux moments ambigus. Construisez les animations dans des sous-agents parallèles. Appliquez l'étalonnage par segment. Composez via render.py.

  6. Aperçu. render.py --preview.

  7. Auto-évaluation (avant de montrer à l'utilisateur). Exécutez timeline_view sur le résultat rendu (pas les sources) à chaque bord de coupe (fenêtre de ±1,5 s). Vérifiez chaque image pour :

    • Discontinuité visuelle / flash / saut à la coupe
    • Pic de forme d'onde à la limite (pop audio qui a échappé au fondu de 30 ms)
    • Sous-titre caché derrière une superposition (violation de la Règle 1)
    • Superposition mal alignée ou affichant les mauvaises trames (violation de la Règle 4)

    Échantillonnez également : les 2 premières secondes, les 2 dernières secondes et 2 à 3 points intermédiaires — vérifiez la cohérence de l'étalonnage, la lisibilité des sous-titres, la cohérence globale. Exécutez ffprobe sur la sortie pour vérifier que la durée correspond aux attentes de l'EDL.

    Si quelque chose échoue : corrigez → re-rendu → réévaluation. Limitez à 3 passes d'auto-évaluation — si des problèmes subsistent après 3, signalez-les à l'utilisateur plutôt que de boucler indéfiniment. Ne présentez l'aperçu qu'une fois l'auto-évaluation réussie.

  8. Itérer + persister. Retour en langage naturel, re-planification, nouveau rendu. Ne retranscrivez jamais. Rendu final sur confirmation. Ajoutez à project.md.

Techniques de coupe

  • Audio d'abord. Candidats à la coupe à partir des limites de mots et des silences.
  • Préservez les pics. Rires, chutes, temps forts. Prolongez après les chutes pour inclure les réactions — le rire EST le temps fort.
  • Les changements de locuteur bénéficient d'un air entre les énoncés. Valeurs courantes : 400–600 ms. Moins pour les rythmes rapides, plus pour les cinématographiques. Choix de goût.
  • Les événements audio comme signaux. (rires), (soupirs), (applaudissements) marquent les temps forts. Prolongez après eux.
  • Les silences sont des candidats à la coupe. Les silences ≥ 400 ms sont généralement les plus propres. Les limites de phrases de 150 à 400 ms sont utilisables avec une vérification visuelle. <150 ms est dangereux (au milieu d'une phrase).
  • Exemple de marge de coupe (la vidéo de lancement livrée avec ceci) : 50 ms avant le premier mot conservé, 80 ms après le dernier. Plus serré pour l'énergie d'un montage, plus lâche pour un documentaire. Restez dans la fenêtre de travail de 30 à 200 ms (Règle Dure 7).
  • Ne raisonnez jamais l'audio et la vidéo indépendamment. Chaque coupe doit fonctionner sur les deux pistes.

La transcription compacte (vue de lecture principale)

pack_transcripts.py lit tous les transcripts/*.json et produit un fichier markdown où chaque prise est une liste de lignes au niveau de la phrase, chacune préfixée par sa plage horaire [début-fin]. Les phrases se coupent sur tout silence ≥ 0,5 s OU changement de locuteur. C'est l'artefact que le sous-agent éditeur lit pour choisir les coupes — il donne une précision au niveau du mot à partir du seul texte pour 1/10 des jetons du JSON brut.

Exemple de ligne :

## C0103  (durée : 43,0 s, 8 phrases)
  [002.52-005.36] S0 Quatre-vingt-dix pour cent de ce qu'un agent web fait est complètement gaspillé.
  [006.08-006.74] S0 Nous avons corrigé cela.

Bref du sous-agent éditeur (pour la sélection multi-prise)

Lorsque la tâche est « choisir la meilleure prise de chaque temps fort parmi plusieurs clips », lancez un sous-agent dédié avec un bref façonné comme celui-ci. La structure est cruciale ; l'exemple de forme de pitch ne l'est pas.

Vous montez une vidéo de <type>. Choisissez la meilleure prise de chaque temps fort et
assemblez-les chronologiquement par temps fort, pas par ordre de clip source.

ENTRÉES :
  - takes_packed.md (transcriptions au niveau de la phrase avec annotations temporelles de toutes les prises)
  - Contexte produit/narratif : <2 phrases de l'utilisateur>
  - Locuteur(s) : <nom, rôle, note sur le style de discours>
  - Structure attendue : <choisissez un archétype ou inventez-en un>
  - Lapsus verbaux à éviter : <liste du passage de pré-analyse>
  - Durée cible : <secondes>

Archétypes structurels courants (choisissez, adaptez ou inventez) :
  - Lancement tech / démo :   ACCROCHE → PROBLÈME → SOLUTION → AVANTAGE → EXEMPLE → APPEL À L'ACTION
  - Tutoriel :                INTRO → CONFIGURATION → ÉTAPES → PIÈGES → RÉCAPITULATIF
  - Interview :               (QUESTION → RÉPONSE → SUIVI) répété
  - Voyage / événement :      ARRIVÉE → MOMENTS FORTS → MOMENTS CALMES → DÉPART
  - Documentaire :            THÈSE → PREUVES → CONTREPOINT → CONCLUSION
  - Musique / performance :   INTRO → COUPLET → REFRAIN → PONT → OUTRO
  - Ou inventez le vôtre.

RÈGLES :
  - Les heures de début/fin doivent tomber sur les limites de mots de la transcription.
  - Ajoutez une marge aux bords de coupe (fenêtre de travail 30–200 ms).
  - Préférez les silences ≥ 400 ms comme cibles de coupe.
  - Les lapsus inévitables sont conservés s'il n'existe pas de meilleure prise. Notez-les dans « raison ».
  - Si hors budget, révisez : supprimez un temps fort ou réduisez les fins. Rapportez le total et autocorrigez-vous.

SORTIE (tableau JSON, pas de prose) :
  [{"source": "C0103", "start": 2.42, "end": 6.85, "beat": "ACCROCHE",
    "quote": "...", "reason": "..."}, ...]

Retournez l'EDL final et une vérification de la durée totale en une ligne.

Étalonnage (sur demande)

Votre travail consiste à raisonner sur l'image, pas à appliquer un préréglage. Regardez une image (via timeline_view), décidez ce qui ne va pas, ajustez une chose, regardez à nouveau.

Le modèle mental est l'ASC CDL. Par canal : out = (in * pente + décalage) ** puissance, puis saturation globale. pente → hautes lumières, décalage → ombres, puissance → tons moyens.

Exemples de chaînes de filtres (grade.py a --list-presets ; utilisez-les comme points de départ ou créez les vôtres) :

  • warm_cinematic — rétro/technique, subtile séparation teal/orange, désaturée. Livré dans une vraie vidéo de lancement. Sûr pour les têtes parlantes.
  • neutral_punch — correctif minimal : augmentation du contraste + courbe en S douce. Pas de changement de teinte.
  • none — copie directe. Valeur par défaut lorsque l'utilisateur n'a rien demandé.

Pour tout le reste — portrait, nature, produit, clip musical, documentaire — inventez votre propre chaîne. grade.py --filter '<raw ffmpeg>' accepte n'importe quelle chaîne de filtres.

Règles dures : appliquez par segment lors de l'extraction (pas après la concaténation, ce qui ré-encode deux fois). Ne soyez jamais agressif sans tester les tons chair.

Sous-titres (sur demande)

Les sous-titres ont trois dimensions qui méritent réflexion : le découpage (1/2/3 mots ou phrase par ligne), la casse (MAJUSCULE/Titre/Naturelle) et le placement (marge depuis le bas). La bonne combinaison dépend du contenu.

Styles exemplaires — choisissez, adaptez ou inventez :

bold-overlay — court, lancement tech, rythme rapide pour les réseaux sociaux. Groupes de 2 mots, MAJUSCULES, coupure sur la ponctuation, Helvetica 18 Gras, blanc sur contour, MarginV=35. render.py est livré avec ce style sous le nom SUB_FORCE_STYLE.

FontName=Helvetica,FontSize=18,Bold=1,
PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,BackColour=&H00000000,
BorderStyle=1,Outline=2,Shadow=0,
Alignment=2,MarginV=35

natural-sentence (si vous inventez ce mode) — narratif, documentaire, éducatif. Groupes de 4 à 7 mots, casse de phrase, coupure sur les pauses naturelles, MarginV=60–80, police plus grande

…

[tronqué pour la traduction]

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Skills associés