Communitygithub.com

shengdabai/Tony-Claude-Code-Skills

Asset-Vorverarbeitung für HyperFrames-Kompositionen – Text-to-Speech-Vertonung (Kokoro), Audio/Video-Transkription (Whisper) und Hintergrundentfernung für transparente Overlays (u2net).

Was ist Tony-Claude-Code-Skills?

Dieses Skill bietet drei CLI-Befehle zur Medienerstellung für HyperFrames-Kompositionen: `tts` zur lokalen Sprachsynthese mit Kokoro-82M (kein API-Key nötig), `transcribe` zur Transkription mit Wort-für-Wort-Zeitstempeln über Whisper, und `remove-background` zur Entfernung von Hintergründen aus Videos/Bildern mittels u2net_human_seg. Es unterstützt macOS, Linux und Windows (mit Python 3.8+) und eignet sich für Entwickler, die Voiceover, Untertitel oder transparente Overlays für Webkompositionen benötigen. Jeder Befehl lädt sein Modell beim ersten Start herunter und speichert es unter `~/.cache/hyperframes/`. Die Stärke liegt in der nahtlosen Verkettung: Text → TTS → Transkription → Untertitel ohne manuelle Bearbeitung. Es ist speziell auf HyperFrames-Kompositionen zugeschnitten, kann aber auch eigenständig für Transkription oder Hintergrundentfernung genutzt werden.

Funktioniert mit✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/shengdabai/Tony-Claude-Code-Skills/tree/HEAD/skills/hyperframes-hyperframes-media

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Vorschau

Aus dem Skill-README

Dokumentation

HyperFrames Medienvorverarbeitung

Drei CLI-Befehle, die Assets für Kompositionen erstellen: tts (Sprache), transcribe (Zeitstempel) und remove-background (transparentes Video). Jeder lädt beim ersten Start ein Modell herunter und speichert es unter ~/.cache/hyperframes/. Die Ausgabe in das Projekt einfügen und dann aus der Komposition HTML referenzieren – siehe das hyperframes-Skill für die Audio/Video-Element-Konventionen.

Text-to-Speech (tts)

Sprachaudio lokal mit Kokoro-82M generieren. Kein API-Key.

npx hyperframes tts "Text hier" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # alle 54 Stimmen

Stimmenauswahl

Stimme an den Inhalt anpassen. Standard ist af_heart.

InhaltstypStimmeGrund
Produkt-Demoaf_heart/af_novaWarm, professionell
Tutorial / Anleitungam_adam/bf_emmaNeutral, leicht verständlich
Marketing / Werbungaf_sky/am_michaelEnergisch oder autoritär
Dokumentationbf_emma/bm_georgeKlares britisches Englisch, formell
Lässig / Sozialaf_heart/af_skyZugänglich, natürlich

Mehrsprachigkeit

Stimm-IDs kodieren die Sprache im ersten Buchstaben: a=amerikanisches Englisch, b=britisches Englisch, e=Spanisch, f=Französisch, h=Hindi, i=Italienisch, j=Japanisch, p=Brasilianisches Portugiesisch, z=Mandarin. Die CLI erkennt das Phonemizer-Gebietsschema automatisch aus dem Präfix – kein --lang nötig, wenn die Stimme zum Text passt.

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

--lang nur zum Überschreiben der automatischen Erkennung verwenden (stilisierte Akzente). Gültige Codes: en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. Für nicht-englische Phonemisierung ist espeak-ng systemweit erforderlich (brew install espeak-ng / apt-get install espeak-ng).

Geschwindigkeit

  • 0.7-0.8 – Tutorial, komplexer Inhalt, Barrierefreiheit
  • 1.0 – natürliches Tempo (Standard)
  • 1.1-1.2 – Intros, Übergänge, schwungvoller Inhalt
  • 1.5+ – selten angemessen; sorgfältig testen

Lange Skripte

Bei mehr als ein paar Absätzen in eine .txt-Datei schreiben und den Pfad übergeben. Eingaben über ~5 Minuten Sprache können von einer Aufteilung in Segmente profitieren.

Anforderungen

Python 3.8+ mit kokoro-onnx und soundfile (pip install kokoro-onnx soundfile). Modell-Download bei erster Verwendung (~311 MB + ~27 MB Stimmen, zwischengespeichert in ~/.cache/hyperframes/tts/).

Transkription (transcribe)

Ein normalisiertes transcript.json mit Wort-für-Wort-Zeitstempeln erstellen.

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # Vorhandene importieren
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

Sprachregel (Nicht verhandelbar)

Verwenden Sie .en-Modelle NIE, es sei denn, der Benutzer gibt ausdrücklich an, dass das Audio auf Englisch ist. .en-Modelle (small.en, medium.en) übersetzen nicht-englisches Audio ins Englische, anstatt es zu transkribieren. Dies zerstört stillschweigend die Originalsprache.

  1. Sprache bekannt und nicht Englisch → --model small --language <code> (kein .en-Suffix)
  2. Sprache bekannt und Englisch → --model small.en
  3. Sprache unbekannt → --model small (kein .en, kein --language) – Whisper erkennt automatisch

Standardmodell ist small, nicht small.en.

Modellgrößen

ModellGrößeGeschwindigkeitWann verwenden
tiny75 MBAm schnellstenSchnelle Vorschauen, Pipeline-Tests
base142 MBSchnellKurze Clips, klare Audios
small466 MBMittelStandard – die meisten Inhalte
medium1,5 GBLangsamWichtige Inhalte, verrauschtes Audio, Musik
large-v33,1 GBAm langsamstenProduktionsqualität

Musik mit Gesang: mindestens bei medium beginnen; fertige Tracks benötigen oft manuellen SRT/VTT-Import. Für Untertitel-Qualitätskontrollen (obligatorisch nach jeder Transkription), die JS-Bereinigung, Wiederholungsregeln und den OpenAI/Groq-API-Importpfad, siehe hyperframes/references/transcript-guide.md.

Ausgabeformat

Kompositionen verwenden ein flaches Array von Wortobjekten. Das Feld id (w0, w1, ...) wird während der Normalisierung für stabile Referenzen in Untertitel-Overrides hinzugefügt; es ist optional für Abwärtskompatibilität.

[
  { "id": "w0", "text": "Hello", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "world.", "start": 0.6, "end": 1.2 }
]

Hintergrundentfernung (remove-background)

Entfernt den Hintergrund aus einem Video oder Bild, sodass das Motiv (typischerweise eine Person – Avatar, Präsentator, Sprecher) als transparentes Overlay in einer Komposition sitzt.

npx hyperframes remove-background subject.mp4 -o transparent.webm  # Standard: VP9 Alpha WebM
npx hyperframes remove-background subject.mp4 -o transparent.mov   # ProRes 4444 (Bearbeitung)
npx hyperframes remove-background portrait.jpg -o cutout.png       # Einzelbild-Ausschnitt
npx hyperframes remove-background subject.mp4 -o subject.webm \
  --background-output plate.webm                                   # Beide Ebenen in einem Durchgang
npx hyperframes remove-background subject.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info                           # Erkannte Anbieter

Verwendet u2net_human_seg (MIT). Erster Start lädt ~168 MB Gewichte nach ~/.cache/hyperframes/background-removal/models/.

Ebenentrennung (--background-output)

--background-output (oder -b) übergeben, um ein zweites transparentes Video zusammen mit dem Ausschnitt auszugeben: gleiches RGB der Quelle, Alpha ist 255 − Maske statt Maske. Der Ausschnitt ist das Motiv mit transparentem Hintergrund; die Platte ist die ursprüngliche Umgebung mit einem transparenten Loch, wo das Motiv war.

DateiAlpha ist…Verwendung für
-o subject.webmDie Maske – Motiv undurchsichtig, Hintergrund transparentVordergrundebene, oben platzieren
--background-output plate.webmInvers – Umgebung undurchsichtig, Motivbereich transparentUntere Ebene; Text oder Grafiken zwischen diese und das Motiv setzen

Beide Ausgaben teilen denselben --quality-Vorgabewert und laufen in einem einzigen Inferenzdurchlauf – die Codierungskosten verdoppeln sich etwa, die Segmentierungskosten bleiben gleich. Nur gültig für Videoeingaben und .webm/.mov-Ausgaben.

Ausgestanzte Platte, keine nachbearbeitete saubere Platte. Der Motivbereich in plate.webm ist vollständig transparent – etwas Undurchsichtiges darunter komponieren, um das Loch zu füllen. Der einzige Test, ob --background-output das richtige Werkzeug ist: Wird jemals etwas durch die Silhouette des Motivs sichtbar sein, wo das Motiv war?

AnwendungsfallRichtiges Werkzeug
Text/Grafiken zwischen Ausschnitt und Platte (Grund für die Existenz dieses Befehls)Ausstanzung (--background-output)
Motiv in eine nicht verwandte Szene einfügenNur subject.webm; Platte ignorieren
Den Raum ohne die Person zeigen, allein über keinem anderen InhaltSaubere Platte – benötigt einen Inpainter (LaMa, ProPainter, E2FGVI). Nicht dieser Befehl.
Das Motiv durch ein anderes Motiv ersetzenSaubere Platte – siehe oben

Wenn ein Benutzer nach „dem Raum mit der entfernten Person“ fragt und beabsichtigt, ihn eigenständig anzuzeigen, greifen Sie nicht zu --background-output. Sagen Sie ihnen, dass sie einen Inpainter benötigen.

Typische geschichtete Komposition (der kanonische Anwendungsfall für Ausstanzungen):

<!-- z=1 die inverse-Alpha-Platte füllt alles außer dem Motivbereich -->
<video
  src="plate.webm"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>

<!-- z=2 Grafiken/Text leben zwischen den beiden Ebenen -->
<h1 id="headline" style="z-index:2; ...">MAKE IT IN HYPERFRAMES</h1>

<!-- z=3 der Ausschnitt schwebt das Motiv wieder über die Überschrift -->
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3">
  <video
    src="subject.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Dies ist funktional äquivalent zum Muster „Text hinter Motiv“ unten, aber Sie benötigen nicht das originale presenter.mp4 im Projekt – die Platte ersetzt es. Nützlich, wenn Sie nur die beiden transparenten Ebenen ausliefern möchten und dem Benutzer erlauben, beliebigen Inhalt dazwischen einzufügen.

Ausgabeformat

FormatWann
.webm (VP9 + Alpha)Standard. Kompositionen spielen dies direkt über <video> ab.
.mov (ProRes 4444)Bearbeitung in DaVinci/Premiere/FCP. Große Dateien.
.pngEinzelbild-Ausschnitt (stehendes Motiv, über einem Hintergrund gelegt).

Chrome dekodiert VP9 Alpha nativ, daher lässt sich das .webm wie jedes andere stummgeschaltete Autoplay-Video in eine Komposition einfügen – siehe das hyperframes-Skill für die <video>-Track-Konventionen.

Qualitätsvoreinstellungen

--quality fast|balanced|best steuert nur den VP9-Codierer-CRF – die Segmentierungsqualität ist fest.

VoreinstellungCRFWann
fast30Iterieren, kleinere Datei, lockererer Farbabgleich
balanced18Standard. Für die meisten Anwendungen visuell identisch
best12Master / endgültige Auslieferung. Größte Datei, engster Abgleich

Compositing-Muster – das richtige auswählen

Das Ausschnitt-Webm ist eine neu codierte Kopie des RGB der Quell-MP4. Diese Wahl hat Konsequenzen, je nachdem, was Sie dahinter platzieren:

MusterWas hinter dem Ausschnitt istErgebnis
Ausschnitt über einer anderen Szene (am häufigsten)Standbild, Farbverlauf oder nicht verwandtes VideoSieht großartig aus. Das RGB des Ausschnitts ist die einzige Quelle des Motivs – keine Verdopplung, kein Rand-Halo. Dafür ist remove-background gemacht.
Ausschnitt über seiner eigenen Quell-MP4 (Text hinter Motiv)Gleiche MP4, aus der der Ausschnitt erstellt wurdeZwei RGB-Quellen für dieselbe Person. Bei Standard---quality balanced (crf 18) ist die Verdopplung kaum sichtbar; bei --quality fast (crf 30) sehen Sie eine leichte Farbverschiebung / Rand-Halo. Verwenden Sie --quality best (crf 12) für Master.
Ausschnitt über einer anderen Aufnahme derselben PersonFilmmaterial desselben MotivsSieht aus wie zwei verschiedene Personen, die sich überlappen. Nicht tun.

Text hinter Motiv (Überschrift hinter einem Präsentator):

<video
  src="presenter.mp4"
  id="bg"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>
<h1 id="headline" style="z-index:2; ...">MAKE IT IN HYPERFRAMES</h1>
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3;opacity:0">
  <video
    src="presenter.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Zwei wichtige Regeln:

  1. Das Ausschnitt-Video in ein nicht zeitgesteuertes <div> einwickeln und die Deckkraft des Wrappers animieren, nicht die des Video-Elements. Das Framework erzwingt Deckkraft:1 für aktive Clips (jedes Element mit data-start/data-duration), daher wird das direkte Animieren der Deckkraft des Videos stillschweigend überschrieben. Der Wrapper hat keine data-*-Attribute, wird also von Ihrem CSS/GSAP gesteuert.
  2. Beide Videos verwenden data-start="0" und data-media-start="0", damit das Framework sie synchron ab t=0 dekodiert. Ein spätes Einbinden des Ausschnitts (data-start=3.3) führt zu einem Such- und Aufwärmvorgang, der ein Frame von der Basis-MP4 entfernt landet – sichtbar als ein Frame von Fehlausrichtung am Schnitt.

Dann die Wrapper-Deckkraft mit GSAP am Schnitt umschalten: tl.set(cutoutWrap, { opacity: 1 }, 3.3).

TTS → Transkribieren → Untertitel

Wenn es keine vorab aufgezeichnete Voiceover gibt, eine generieren und zurück transkribieren, um Wort-für-Wort-Zeitstempel für Untertitel zu erhalten:

npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav   # → transcript.json

Individual skills in this repo

This repo contains 8 individual skills — each has its own dedicated page.

shengdabai/Tony-Claude-Code-Skills

Downloads videos from YouTube and other platforms for offline viewing, editing, or archival. Handles various formats and quality options.

shengdabai/Tony-Claude-Code-Skills

接收抖音、小红书、微信视频号等短视频链接或分享文案,查询作品/账号数据并提取语音文字稿,按作者和标题归档为 Markdown。用户希望完整解析短视频、取得数据或文字稿时使用;运行前检查 TikHub 与轻抖使用凭证,缺少时用新手能理解的方式引导购买和安全配置。

shengdabai/Tony-Claude-Code-Skills

Read-only queue dashboard for workspace-aware ship. (gstack)

shengdabai/Tony-Claude-Code-Skills

Anime.js adapter patterns for HyperFrames. Use when writing Anime.js animations or timelines inside HyperFrames compositions, registering animations on window.__hfAnime, making Anime.js seek-driven and deterministic, or translating Anime.js examples into render-safe HyperFrames HTML.

shengdabai/Tony-Claude-Code-Skills

Author a new HyperFrames registry block (caption style, VFX block, transition, lower third) or component (text effect, overlay, snippet) and ship it as an upstream PR to the hyperframes repo. Use ONLY when the user wants to CONTRIBUTE to the public catalog — for in-project caption/transition authoring use the `hyperframes` skill, for installing existing registry items use the `hyperframes-registry` skill.

shengdabai/Tony-Claude-Code-Skills

CSS animation adapter patterns for HyperFrames. Use when authoring CSS keyframes, animation-delay based timing, animation-fill-mode, animation-play-state, or CSS-only motion that HyperFrames must seek deterministically during preview and rendering.

shengdabai/Tony-Claude-Code-Skills

GSAP animation reference for HyperFrames. Covers gsap.to(), from(), fromTo(), easing, stagger, defaults, timelines (gsap.timeline(), position parameter, labels, nesting, playback), and performance (transforms, will-change, quickTo). Use when writing GSAP animations in HyperFrames compositions.

shengdabai/Tony-Claude-Code-Skills

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

Verwandte Skills