Communitygithub.com

delorenj/skills

Prétraitement d'actifs pour les compositions HyperFrames — synthèse vocale (Kokoro), transcription audio/vidéo (Whisper) et suppression d'arrière-plan pour incrustations transparentes (u2net). À utiliser pour générer une voix off à partir de texte, transcrire la parole pour les sous-titres, supprimer l'arrière-plan d'une vidéo ou d'une image pour l'utiliser comme incrustation transparente, choisir une voix TTS ou un modèle Whisper, ou enchaîner ces opérations (TTS → transcription → sous-titres). Chaque commande télécharge son propre modèle lors de la première exécution.

Qu'est-ce que skills ?

Cette compétence fournit trois commandes CLI pour le prétraitement d'actifs dans les compositions HyperFrames : `tts` (synthèse vocale avec Kokoro-82M), `transcribe` (transcription avec horodatages via Whisper) et `remove-background` (suppression d'arrière-plan avec segmentation u2net). Chaque commande télécharge et met en cache son modèle lors de la première exécution sous `~/.cache/hyperframes/`. Elle est utile pour générer des voix off à partir de texte, transcrire de l'audio pour créer des sous-titres, ou supprimer l'arrière-plan de vidéos et images pour produire des incrustations transparentes. La compétence prend en charge plusieurs langues pour la synthèse vocale et la transcription, et offre une sélection de voix et de modèles adaptés à différents types de contenu (démonstration, didacticiel, marketing). L'enchaînement TTS → transcription est intégré pour produire facilement une narration avec sous-titres à partir d'un simple script.

Compatible avec~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/delorenj/skills/tree/HEAD/hyperframes-media

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Aperçu

Depuis le README du skill

Documentation

Prétraitement Média HyperFrames

Trois commandes CLI qui produisent des actifs pour les compositions : tts (parole), transcribe (horodatages) et remove-background (vidéo transparente). Chacune télécharge un modèle lors de la première exécution et le met en cache dans ~/.cache/hyperframes/. Placez la sortie dans le projet, puis référencez-la depuis le code HTML de la composition — consultez la compétence hyperframes pour les conventions des éléments audio/vidéo.

Synthèse Vocale (tts)

Générez de l'audio de parole localement avec Kokoro-82M. Aucune clé API requise.

npx hyperframes tts "Texte ici" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # toutes les 54 voix

Sélection de la Voix

Faites correspondre la voix au contenu. La valeur par défaut est af_heart.

Type de contenuVoixPourquoi
Démo produitaf_heart/af_novaChaleureuse, professionnelle
Tutoriel / procéduream_adam/bf_emmaNeutre, facile à suivre
Marketing / promoaf_sky/am_michaelÉnergique ou autoritaire
Documentationbf_emma/bm_georgeAnglais britannique clair, formel
Décontracté / socialaf_heart/af_skyAccessible, naturelle

Multilingue

Les identifiants de voix encodent la langue dans la première lettre : a=Anglais américain, b=Anglais britannique, e=Espagnol, f=Français, h=Hindi, i=Italien, j=Japonais, p=Portugais brésilien, z=Mandarin. La CLI détecte automatiquement la locale du phonémiseur à partir du préfixe — aucun --lang nécessaire lorsque la voix correspond au texte.

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

Utilisez --lang uniquement pour remplacer la détection automatique (accents stylisés). Codes valides : en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. La phonémisation non-anglaise nécessite espeak-ng au niveau système (brew install espeak-ng / apt-get install espeak-ng).

Vitesse

  • 0.7-0.8 — tutoriel, contenu complexe, accessibilité
  • 1.0 — rythme naturel (par défaut)
  • 1.1-1.2 — introductions, transitions, contenu dynamique
  • 1.5+ — rarement approprié ; testez avec soin

Scripts Longs

Pour plus de quelques paragraphes, écrivez dans un fichier .txt et passez le chemin. Les entrées de plus d'environ 5 minutes de parole peuvent bénéficier d'une segmentation.

Prérequis

Python 3.8+ avec kokoro-onnx et soundfile (pip install kokoro-onnx soundfile). Téléchargement du modèle lors de la première utilisation (~311 Mo + ~27 Mo de voix, mis en cache dans ~/.cache/hyperframes/tts/).

Transcription (transcribe)

Produit un transcript.json normalisé avec des horodatages au niveau des mots.

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # importer existant
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

Règle de Langue (Non-Négociable)

N'utilisez jamais les modèles .en à moins que l'utilisateur ne précise explicitement que l'audio est en anglais. Les modèles .en (small.en, medium.en) traduisent l'audio non-anglais en anglais au lieu de le transcrire. Cela détruit silencieusement la langue d'origine.

  1. Langue connue et non-anglaise → --model small --language <code> (pas de suffixe .en)
  2. Langue connue et anglaise → --model small.en
  3. Langue inconnue → --model small (pas de .en, pas de --language) — whisper détecte automatiquement

Le modèle par défaut est small, pas small.en.

Tailles de Modèle

ModèleTailleVitesseQuand utiliser
tiny75 MoPlus rapideAperçus rapides, test du pipeline
base142 MoRapideCourts extraits, audio clair
small466 MoModéréePar défaut — la plupart des contenus
medium1,5 GoLenteContenu important, audio bruité, musique
large-v33,1 GoPlus lenteQualité production

Musique avec voix : commencez au minimum par medium ; les pistes produites nécessitent souvent une importation manuelle SRT/VTT. Pour les vérifications de qualité des sous-titres (obligatoires après chaque transcription), les règles de nouvelle tentative JS, et le chemin d'importation de l'API OpenAI/Groq, consultez hyperframes/references/transcript-guide.md.

Structure de Sortie

Les compositions consomment un tableau plat d'objets mot. Le champ id (w0, w1, ...) est ajouté lors de la normalisation pour des références stables dans les remplacements de sous-titres ; il est facultatif pour la rétrocompatibilité.

[
  { "id": "w0", "text": "Bonjour", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "le monde.", "start": 0.6, "end": 1.2 }
]

Suppression d'Arrière-Plan (remove-background)

Supprimez l'arrière-plan d'une vidéo ou d'une image afin que le sujet (généralement une personne — avatar, présentateur, tête parlante) se place comme une incrustation transparente dans une composition.

npx hyperframes remove-background sujet.mp4 -o transparent.webm  # défaut : VP9 alpha WebM
npx hyperframes remove-background sujet.mp4 -o transparent.mov   # ProRes 4444 (montage)
npx hyperframes remove-background portrait.jpg -o decoupe.png    # découpe d'image unique
npx hyperframes remove-background sujet.mp4 -o sujet.webm \
  --background-output fond.webm                                   # les deux couches en une passe
npx hyperframes remove-background sujet.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info                           # fournisseurs détectés

Utilise u2net_human_seg (MIT). La première exécution télécharge environ 168 Mo de poids dans ~/.cache/hyperframes/background-removal/models/.

Séparation des Couches (--background-output)

Passez --background-output (ou -b) pour émettre une deuxième vidéo transparente en plus de la découpe : même source RVB, alpha est 255 − masque au lieu de masque. La découpe est le sujet avec un arrière-plan transparent ; le fond est l'environnement d'origine avec un trou transparent là où se trouvait le sujet.

FichierAlpha est…Utilisation pour
-o sujet.webmLe masque — sujet opaque, arrière-plan transparentCouche de premier plan, placez dessus
--background-output fond.webmInverse — environnement opaque, région du sujet transparenteCouche de fond ; placez du texte ou des graphiques entre celle-ci et le sujet

Les deux sorties partagent la même préréglage --quality et proviennent d'une seule passe d'inférence — le coût de l'encodage double environ, le coût de la segmentation reste le même. Valide uniquement pour les entrées vidéo et les sorties .webm/.mov.

Fond troué, pas un fond proprement reconstitué. La région du sujet dans fond.webm est entièrement transparente — compositez quelque chose d'opaque en dessous pour remplir le trou. Le seul test pour savoir si --background-output est le bon outil : y aura-t-il jamais quelque chose de visible à travers la silhouette du sujet là où se trouvait le sujet ?

Cas d'utilisationOutil adapté
Texte/graphiques entre la découpe et le fond (raison de cette commande)Fond troué (--background-output)
Sujet sur une scène non liéeJuste sujet.webm ; ignorez le fond
Montrer la pièce sans la personne, seule sans autre contenuFond propre — nécessite un inpaint (LaMa, ProPainter, E2FGVI). Pas cette commande.
Remplacer le sujet par un sujet différentFond propre — idem ci-dessus

Si un utilisateur demande "la pièce avec la personne retirée" et prévoit de l'afficher telle quelle, n'utilisez pas --background-output. Dites-lui qu'il a besoin d'un inpaint.

Composition typique en couches (le cas d'utilisation canonique du trou) :

<!-- z=1 le fond alpha-inverse remplit tout sauf la région du sujet -->
<video
  src="fond.webm"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>

<!-- z=2 les graphiques / le texte vivent entre les deux couches -->
<h1 id="headline" style="z-index:2; ...">FAITES-LE DANS HYPERFRAMES</h1>

<!-- z=3 la découpe replace le sujet au-dessus du titre -->
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3">
  <video
    src="sujet.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

C'est fonctionnellement équivalent au motif texte-derrière-sujet ci-dessous, mais vous n'avez pas besoin du presentateur.mp4 d'origine dans le projet — le fond le remplace. Utile lorsque vous souhaitez expédier uniquement les deux couches transparentes et laisser l'utilisateur déposer du contenu arbitraire entre elles.

Format de Sortie

FormatQuand
.webm (VP9 + alpha)Par défaut. Les compositions lisent cela directement via <video>.
.mov (ProRes 4444)Montage dans DaVinci/Premiere/FCP. Fichiers volumineux.
.pngDécoupe d'image unique (sujet fixe, superposé sur un fond).

Chrome décode VP9 alpha nativement, donc le .webm se branche dans une composition comme n'importe quelle autre vidéo muette en lecture automatique — consultez la compétence hyperframes pour les conventions de piste <video>.

Préréglages de Qualité

--quality fast|balanced|best contrôle uniquement le CRF de l'encodeur VP9 — la qualité de segmentation est fixe.

PréréglageCRFQuand
fast30Itérations, fichier plus petit, correspondance des couleurs moins précise
balanced18Par défaut. Visuellement identique pour la plupart des usages
best12Master / livraison finale. Fichier le plus volumineux, correspondance la plus précise

Modèles de Composition — Choisissez le Bon

La découpe webm est une copie ré-encodée du RVB de la source mp4. Ce choix a des conséquences selon ce que vous placez derrière :

ModèleCe qui est derrière la découpeRésultat
Découpe sur une scène différente (le plus courant)Image statique, dégradé ou vidéo non liéeSuperbe. Le RVB de la découpe est la seule source du sujet — pas de doublement, pas de halo de bord. C'est pour cela que remove-background est conçu.
Découpe sur son propre mp4 source (texte-derrière-sujet)Même mp4 à partir duquel la découpe a été généréeDeux sources RVB pour la même personne. À --quality balanced par défaut (crf 18) le doublement est à peine visible ; à --quality fast (crf 30) vous verrez un léger décalage de couleur / halo de bord. Utilisez --quality best (crf 12) pour les masters.
Découpe sur une prise différente de la même personneSéquences du même sujetRessemblera à deux personnes distinctes qui se chevauchent. Ne faites pas ça.

Texte-derrière-sujet (titre derrière un présentateur) :

<video
  src="presentateur.mp4"
  id="bg"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>
<h1 id="headline" style="z-index:2; ...">FAITES-LE DANS HYPERFRAMES</h1>
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3;opacity:0">
  <video
    src="presentateur.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Deux règles clés :

  1. Enveloppez la vidéo de découpe dans une <div> non temporisée et animez l'opacité de l'enveloppe, pas celle de l'élément vidéo. Le framework force l'opacité:1 sur les clips actifs (tout élément avec data-start/data-duration), donc animer directement l'opacité de la vidéo est silencieusement remplacé. L'enveloppe n'a pas d'attributs data-*, donc elle est gérée par votre CSS/GSAP.
  2. Les deux vidéos utilisent data-start="0" et data-media-start="0" afin que le framework les décode en synchronisation à partir de t=0. Monter tardivement la découpe (data-start=3.3) introduit une recherche + préchauffage qui atterrit sur une image décalée par rapport au mp4 de base — visible comme une image de décalage à la coupure.

Ensuite, basculez l'opacité de l'enveloppe avec GSAP au moment de la coupure : tl.set(cutoutWrap, { opacity: 1 }, 3.3).

TTS → Transcription → Sous-titres

Lorsqu'il n'y a pas de voix off pré-enregistrée, générez-en une et retranscrivez-la pour obtenir des horodatages au niveau des mots pour les sous-titres :

npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav   # → transcript.json

Individual skills in this repo

This repo contains 14 individual skills — each has its own dedicated page.

delorenj/skills

Plan and generate terminal ASCII animations/screensaver-style output (FPS, refresh rules, loop policy, low-flicker guidance), with a static poster frame and an optional local demo script.

delorenj/skills

ASCII video: convert video/audio to colored ASCII MP4/GIF.

delorenj/skills

Plan, build and quality-check a premium short commercial for a real business (roofing, property, ecommerce, B2B software) using AI-generated footage, code-built motion (HTML/GSAP), selective Three.js and an independent-critic "Gauntlet" loop. Use when asked to make a launch-style / SaaS-style video, business ad, explainer, sample reel or pitch video, or to review and improve one. Encodes motion principles distilled from 28 professional launch films, a quality bar, audio rules and a business-offer playbook.

delorenj/skills

CSS animation adapter patterns for HyperFrames. Use when authoring CSS keyframes, animation-delay based timing, animation-fill-mode, animation-play-state, or CSS-only motion that HyperFrames must seek deterministically during preview and rendering.

delorenj/skills

Generate professional voiceovers using ElevenLabs AI. Use when the user needs to create voiceovers for videos, audio narration, or text-to-speech content. Supports multiple voices with character presets (narrator, salesperson, expert) for natural delivery. Includes single scene regeneration for fine-tuning.

delorenj/skills

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

delorenj/skills

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

delorenj/skills

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For dev-loop CLI commands (init, lint, inspect, preview, render) see the hyperframes-cli skill; for asset preprocessing commands (tts, transcribe, remove-background) see the hyperframes-media skill.

delorenj/skills

Manim CE animations: 3Blue1Brown math/algo videos.

delorenj/skills

Join a Google Meet or Zoom call as a video meeting agent via PikaStreaming. Trigger: user drops a Google Meet or Zoom link, or asks to join a meeting.

delorenj/skills

Translate an existing Remotion (React-based) video composition into a HyperFrames HTML composition. Use ONLY when the user explicitly asks to port, convert, migrate, translate, or rewrite a Remotion composition as HyperFrames (e.g. "port my Remotion project to HyperFrames"). Do NOT use when (a) authoring a NEW HyperFrames composition (even if A/B-testing a Remotion video); (b) Remotion is mentioned in passing; (c) Remotion code is shared as reference, not for translation; (d) the user wants "the same video as my Remotion one" without explicitly asking to migrate the source — treat as a fresh HyperFrames build. When in doubt, default to the `hyperframes` skill. Detects unsupported patterns (useState, useEffect side effects, async calculateMetadata, third-party React component libraries, `@remotion/lambda`) and recommends the runtime interop escape hatch instead of a lossy translation.

delorenj/skills

Generate speech using the self-hosted voxxy (vox) TTS service at https://vox.delo.sh. Use when the user asks to speak, say, narrate, synthesize speech, clone a voice, create a voice, add or register a voice, pipe TTS, or control voice qualities by description (e.g. "a young woman with a cheerful voice"). Handles HTTP API usage, voice profile management, description-based voice design, cloning, MCP registration, and integration patterns for new platforms.

delorenj/skills

Capture a website and create a HyperFrames video from it. Use when: (1) a user provides a URL and wants a video, (2) someone says "capture this site", "turn this into a video", "make a promo from my site", (3) the user wants a social ad, product tour, or any video based on an existing website, (4) the user shares a link and asks for any kind of video content. Even if the user just pastes a URL — this is the skill to use.

delorenj/skills

YouTube transcripts to summaries, threads, blogs.

Skills associés