Communitygithub.com

shengdabai/Tony-Claude-Code-Skills

Prétraitement d'actifs pour les compositions HyperFrames — narration text-to-speech (Kokoro), transcription audio/vidéo (Whisper) et suppression d'arrière-plan pour superposition transparente (u2net).

Qu'est-ce que Tony-Claude-Code-Skills ?

Cette compétence regroupe trois commandes CLI essentielles pour préparer des médias destinés aux compositions HyperFrames. La commande `tts` génère localement des fichiers audio de narration à l'aide du modèle Kokoro-82M, sans nécessité de clé API, avec une sélection vocale adaptée au contenu (multilingue, ajustement de la vitesse). La commande `transcribe` produit un fichier transcript.json contenant des horodatages au niveau des mots, en utilisant Whisper avec des modèles de différentes tailles (tiny à large-v3). Enfin, la commande `remove-background` isole le sujet d'une vidéo ou d'une image en utilisant le réseau u2net, créant des superpositions transparentes au format WebM (VP9 alpha), MOV (ProRes 4444) ou PNG. Elle prend en charge la séparation en deux couches (sujet premier plan et fond) pour des compositions complexes. Le tout fonctionne avec des téléchargements de modèles uniques et une mise en cache sous ~/.cache/hyperframes/.

Compatible avec✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/shengdabai/Tony-Claude-Code-Skills/tree/HEAD/skills/hyperframes-hyperframes-media

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Aperçu

Depuis le README du skill

Documentation

Prétraitement Média HyperFrames

Trois commandes CLI qui produisent des actifs pour les compositions : tts (parole), transcribe (horodatages) et remove-background (vidéo transparente). Chacune télécharge un modèle lors de la première exécution et le met en cache sous ~/.cache/hyperframes/. Placez la sortie dans le projet, puis référencez-la depuis le HTML de la composition — voir la compétence hyperframes pour les conventions des éléments audio/vidéo.

Synthèse Vocale (tts)

Générer un fichier audio de parole localement avec Kokoro-82M. Aucune clé API nécessaire.

npx hyperframes tts "Texte ici" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # toutes les 54 voix

Sélection de la voix

Adaptez la voix au contenu. La voix par défaut est af_heart.

Type de contenuVoixRaison
Démo produitaf_heart/af_novaChaleureuse, professionnelle
Tutoriel / mode d'emploiam_adam/bf_emmaNeutre, facile à suivre
Marketing / promoaf_sky/am_michaelÉnergique ou autoritaire
Documentationbf_emma/bm_georgeAnglais britannique clair, formel
Décontracté / socialaf_heart/af_skyAccessible, naturel

Multilingue

Les identifiants de voix encodent la langue dans la première lettre : a=Anglais américain, b=Anglais britannique, e=Espagnol, f=Français, h=Hindi, i=Italien, j=Japonais, p=Portugais brésilien, z=Mandarin. Le CLI détecte automatiquement la locale du phonémiseur à partir du préfixe — pas besoin de --lang lorsque la voix correspond au texte.

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

Utilisez --lang uniquement pour remplacer la détection automatique (accents stylisés). Codes valides : en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. La phonémisation pour les langues non-anglaises nécessite espeak-ng installé sur le système (brew install espeak-ng / apt-get install espeak-ng).

Vitesse

  • 0.7-0.8 — tutoriel, contenu complexe, accessibilité
  • 1.0 — rythme naturel (par défaut)
  • 1.1-1.2 — introductions, transitions, contenu dynamique
  • 1.5+ — rarement approprié ; testez attentivement

Scripts longs

Pour plus de quelques paragraphes, écrivez dans un fichier .txt et passez le chemin. Les entrées de plus de ~5 minutes de parole peuvent bénéficier d'une division en segments.

Prérequis

Python 3.8+ avec kokoro-onnx et soundfile (pip install kokoro-onnx soundfile). Téléchargement du modèle lors de la première utilisation (~311 Mo + ~27 Mo de voix, mis en cache dans ~/.cache/hyperframes/tts/).

Transcription (transcribe)

Produire un transcript.json normalisé avec des horodatages au niveau des mots.

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # importer existant
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

Règle de Langue (Non-Négociable)

N'utilisez jamais les modèles .en à moins que l'utilisateur ne précise explicitement que l'audio est en anglais. Les modèles .en (small.en, medium.en) traduisent l'audio non-anglais en anglais au lieu de le transcrire. Cela détruit silencieusement la langue d'origine.

  1. Langue connue et non-anglaise → --model small --language <code> (pas de suffixe .en)
  2. Langue connue et anglaise → --model small.en
  3. Langue inconnue → --model small (pas de .en, pas de --language) — whisper détecte automatiquement

Le modèle par défaut est small, pas small.en.

Tailles de Modèle

ModèleTailleVitesseQuand l'utiliser
tiny75 MoLe plus rapideAperçus rapides, test du pipeline
base142 MoRapideCourts extraits, audio clair
small466 MoModéréePar défaut — la plupart des contenus
medium1,5 GoLenteContenu important, audio bruité, musique
large-v33,1 GoLa plus lenteQualité production

Musique avec voix : commencez au minimum par medium ; les pistes produites nécessitent souvent une importation manuelle SRT/VTT. Pour les vérifications de qualité des sous-titres (obligatoires après chaque transcription), le JS de nettoyage, les règles de nouvelle tentative, et le chemin d'importation API OpenAI/Groq, voir hyperframes/references/transcript-guide.md.

Structure de sortie

Les compositions consomment un tableau plat d'objets mot. Le champ id (w0, w1, ...) est ajouté lors de la normalisation pour des références stables dans les surcharges de sous-titres ; il est facultatif pour la rétrocompatibilité.

[
  { "id": "w0", "text": "Bonjour", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "le monde.", "start": 0.6, "end": 1.2 }
]

Suppression d'Arrière-Plan (remove-background)

Supprimer l'arrière-plan d'une vidéo ou d'une image afin que le sujet (généralement une personne — avatar, présentateur, tête parlante) se positionne comme une superposition transparente dans une composition.

npx hyperframes remove-background sujet.mp4 -o transparent.webm  # défaut : VP9 alpha WebM
npx hyperframes remove-background sujet.mp4 -o transparent.mov   # ProRes 4444 (montage)
npx hyperframes remove-background portrait.jpg -o decoupe.png    # découpe d'image unique
npx hyperframes remove-background sujet.mp4 -o sujet.webm \
  --background-output fond.webm                                 # les deux couches en une seule passe
npx hyperframes remove-background sujet.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info                        # fournisseurs détectés

Utilise u2net_human_seg (MIT). La première exécution télécharge ~168 Mo de poids vers ~/.cache/hyperframes/background-removal/models/.

Séparation des couches (--background-output)

Passez --background-output (ou -b) pour émettre une seconde vidéo transparente avec la découpe : même source RVB, l'alpha est 255 − masque au lieu de masque. La découpe est le sujet avec un arrière-plan transparent ; le fond est les alentours d'origine avec un trou transparent là où se trouvait le sujet.

FichierL'Alpha est…Utilisation
-o sujet.webmLe masque — sujet opaque, arrière-plan transparentCouche de premier plan, placée au-dessus
--background-output fond.webmInverse — alentours opaques, région du sujet transparenteCouche inférieure ; placez du texte ou des graphiques entre celle-ci et le sujet

Les deux sorties partagent la même préréglage --quality et s'exécutent en une seule passe d'inférence — le coût de codage double approximativement, le coût de segmentation reste le même. Valide uniquement pour les entrées vidéo et les sorties .webm/.mov.

Fond avec trou, pas un fond reconstruit. La région du sujet dans fond.webm est entièrement transparente — composez quelque chose d'opaque en dessous pour combler le trou. Le test unique pour déterminer si --background-output est l'outil approprié : y aura-t-il jamais quelque chose de visible à travers la silhouette du sujet à l'endroit où se trouvait le sujet ?

Cas d'utilisationOutil approprié
Texte/graphiques entre la découpe et le fond (raison d'être de cette commande)Trou (--background-output)
Sujet sur une scène non liéeJuste sujet.webm ; ignorez le fond
Montrer la pièce sans la personne, seule sans autre contenuFond reconstruit — nécessite un outil de retouche d'image (LaMa, ProPainter, E2FGVI). Pas cette commande.
Remplacer le sujet par un sujet différentFond reconstruit — idem ci-dessus

Si un utilisateur demande « la pièce sans la personne » et prévoit de l'afficher seule, n'utilisez pas --background-output. Dites-lui qu'il a besoin d'un outil de retouche d'image.

Composition typique en couches (le cas d'utilisation canonique du trou) :

<!-- z=1 le fond avec alpha inverse remplit tout sauf la région du sujet -->
<video
  src="fond.webm"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>

<!-- z=2 graphiques / texte placés entre les deux couches -->
<h1 id="titre" style="z-index:2; ...">FAITES-LE AVEC HYPERFRAMES</h1>

<!-- z=3 la découpe superpose à nouveau le sujet sur le titre -->
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3">
  <video
    src="sujet.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

C'est fonctionnellement équivalent au motif de texte-derrière-sujet ci-dessous, mais vous n'avez pas besoin du presentateur.mp4 d'origine dans le projet — le fond le remplace. Utile lorsque vous souhaitez expédier uniquement les deux couches transparentes et laisser l'utilisateur déposer du contenu arbitraire entre elles.

Format de sortie

FormatQuand
.webm (VP9 + alpha)Par défaut. Les compositions jouent directement via <video>.
.mov (ProRes 4444)Montage dans DaVinci/Premiere/FCP. Fichiers volumineux.
.pngDécoupe d'image unique (sujet fixe, superposé sur un fond).

Chrome décode l'alpha VP9 nativement, donc le .webm s'intègre dans une composition comme n'importe quelle autre vidéo muette à lecture automatique — voir la compétence hyperframes pour les conventions de piste <video>.

Préréglages de qualité

--quality fast|balanced|best contrôle uniquement le CRF du codeur VP9 — la qualité de segmentation est fixe.

PréréglageCRFQuand
fast30Itération, fichier plus petit, correspondance de couleur moins précise
balanced18Par défaut. Visuellement identique pour la plupart des usages
best12Version finale / livraison. Fichier le plus grand, correspondance la plus précise

Motifs de composition — choisissez le bon

La découpe webm est une copie ré-encodée du RVB de la source mp4. Ce choix a des conséquences selon ce que vous placez derrière :

MotifCe qui se trouve derrière la découpeRésultat
Découpe sur une scène différente (le plus courant)Image statique, dégradé, ou vidéo non liéeSuperbe. Le RVB de la découpe est la seule source du sujet — pas de doublon, pas de halo de bord. C'est pour cela que remove-background est conçu.
Découpe sur sa propre source mp4 (texte-derrière-sujet)Le même mp4 que celui utilisé pour la découpeDeux sources RVB pour la même personne. Au préréglage --quality balanced par défaut (crf 18) le doublon est à peine visible ; à --quality fast (crf 30) vous verrez un léger décalage de couleur / halo de bord. Utilisez --quality best (crf 12) pour les versions finales.
Découpe sur une prise différente de la même personneImages du même sujetCela ressemblera à deux personnes distinctes qui se chevauchent. Ne faites pas ça.

Texte-derrière-sujet (titre derrière un présentateur) :

<video
  src="presentateur.mp4"
  id="bg"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>
<h1 id="titre" style="z-index:2; ...">FAITES-LE AVEC HYPERFRAMES</h1>
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3;opacity:0">
  <video
    src="presentateur.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Deux règles clés :

  1. Enveloppez la vidéo découpée dans une <div> non temporisée et animez l'opacité de l'enveloppe, pas de l'élément vidéo. Le framework force l'opacité à 1 sur les clips actifs (tout élément avec data-start/data-duration), donc animer directement l'opacité de la vidéo est silencieusement ignoré. L'enveloppe n'a pas d'attributs data-*, donc elle est contrôlée par votre CSS/GSAP.
  2. Les deux vidéos utilisent data-start="0" et data-media-start="0" afin que le framework les décode de manière synchrone depuis t=0. Monter tardivement la découpe (data-start=3.3) introduit une recherche + un échauffement qui aboutit à une image décalée par rapport au mp4 de base — visible comme une image de désalignement au moment de la coupure.

Ensuite, inversez l'opacité de l'enveloppe avec GSAP au moment de la coupure : tl.set(cutoutWrap, { opacity: 1 }, 3.3).

TTS → Transcribe → Sous-titres

Lorsqu'il n'y a pas de voix pré-enregistrée, générez-en une et retranscrivez-la pour obtenir des horodatages au niveau des mots pour les sous-titres :

npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav   # → transcript.json

Individual skills in this repo

This repo contains 8 individual skills — each has its own dedicated page.

shengdabai/Tony-Claude-Code-Skills

Downloads videos from YouTube and other platforms for offline viewing, editing, or archival. Handles various formats and quality options.

shengdabai/Tony-Claude-Code-Skills

接收抖音、小红书、微信视频号等短视频链接或分享文案,查询作品/账号数据并提取语音文字稿,按作者和标题归档为 Markdown。用户希望完整解析短视频、取得数据或文字稿时使用;运行前检查 TikHub 与轻抖使用凭证,缺少时用新手能理解的方式引导购买和安全配置。

shengdabai/Tony-Claude-Code-Skills

Read-only queue dashboard for workspace-aware ship. (gstack)

shengdabai/Tony-Claude-Code-Skills

Anime.js adapter patterns for HyperFrames. Use when writing Anime.js animations or timelines inside HyperFrames compositions, registering animations on window.__hfAnime, making Anime.js seek-driven and deterministic, or translating Anime.js examples into render-safe HyperFrames HTML.

shengdabai/Tony-Claude-Code-Skills

Author a new HyperFrames registry block (caption style, VFX block, transition, lower third) or component (text effect, overlay, snippet) and ship it as an upstream PR to the hyperframes repo. Use ONLY when the user wants to CONTRIBUTE to the public catalog — for in-project caption/transition authoring use the `hyperframes` skill, for installing existing registry items use the `hyperframes-registry` skill.

shengdabai/Tony-Claude-Code-Skills

CSS animation adapter patterns for HyperFrames. Use when authoring CSS keyframes, animation-delay based timing, animation-fill-mode, animation-play-state, or CSS-only motion that HyperFrames must seek deterministically during preview and rendering.

shengdabai/Tony-Claude-Code-Skills

GSAP animation reference for HyperFrames. Covers gsap.to(), from(), fromTo(), easing, stagger, defaults, timelines (gsap.timeline(), position parameter, labels, nesting, playback), and performance (transforms, will-change, quickTo). Use when writing GSAP animations in HyperFrames compositions.

shengdabai/Tony-Claude-Code-Skills

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

Skills associés