Communitygithub.com

HyperFrames Medien-Vorverarbeitung

Asset-Vorverarbeitung für HyperFrames-Kompositionen – Text-zu-Sprache (Kokoro), Audio/Video-Transkription (Whisper) und Hintergrundentfernung für transparente Overlays (u2net).

Was ist HyperFrames Medien-Vorverarbeitung?

Dieses Skill bietet drei CLI-Befehle zur Medien-Vorverarbeitung für HyperFrames-Kompositionen. Der `tts`-Befehl erzeugt hochwertige Sprachausgabe mit Kokoro-82M lokal ohne API-Key, unterstützt 54 Stimmen in 9 Sprachen und eignet sich für Produktdemos, Tutorials, Marketinginhalte und mehr. Der `transcribe`-Befehl nutzt Whisper (OpenAI) zur Transkription mit wortgenauen Zeitstempeln und produziert ein normiertes `transcript.json`. Der `remove-background`-Befehl entfernt mit u2net den Hintergrund aus Videos oder Bildern und erzeugt transparente WebM (VP9 + Alpha), ProRes 4444 MOV oder PNG. Ein besonderer Workflow ist die Kette TTS → Transcribe → Captions: Sprachausgabe generieren, transkribieren und automatisch Untertitel mit präzisem Timing erstellen. Alle Modelle werden beim ersten Ausführen heruntergeladen und unter `~/.cache/hyperframes/` gecacht. Unterstützt werden Node.js/npx sowie Python-Abhängigkeiten für TTS.

Funktioniert mit~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/libz-renlab-ai/TeamBrain/tree/HEAD/.agents/skills/hyperframes-media

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht HyperFrames Medien-Vorverarbeitung?

Drei CLI-Befehle, die Assets für Kompositionen erstellen: tts (Sprache), transcribe (Zeitstempel) und remove-background (transparentes Video). Jeder lädt beim ersten Start ein Modell herunter und speichert es unter ~/.cache/hyperframes/. Lege die Ausgabe in das Projekt und verweise in der Kompositions-HTML darauf – siehe das hyperframes-Skill für die Audio/Video-Element-Konventionen.

Text-zu-Sprache (tts)

Sprachaudio lokal mit Kokoro-82M erzeugen. Kein API-Key erforderlich.

npx hyperframes tts "Text hier" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # alle 54 Stimmen

Stimmauswahl

Stimme an Inhalt anpassen. Standard ist af_heart.

InhaltstypStimmeGrund
Produktdemoaf_heart/af_novaWarm, professionell
Tutorial / Anleitungam_adam/bf_emmaNeutral, leicht verständlich
Marketing / Werbungaf_sky/am_michaelEnergisch oder autoritär
Dokumentationbf_emma/bm_georgeKlares britisches Englisch, formell
Lässig / sozialaf_heart/af_skyZugänglich, natürlich

Mehrsprachigkeit

Stimm-IDs kodieren die Sprache im ersten Buchstaben: a=Amerikanisches Englisch, b=Britisches Englisch, e=Spanisch, f=Französisch, h=Hindi, i=Italienisch, j=Japanisch, p=Brasilianisches Portugiesisch, z=Mandarin. Die CLI erkennt den Phonemizer-Locale automatisch aus dem Präfix – kein --lang nötig, wenn die Stimme zum Text passt.

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

Verwende --lang nur, um die Auto-Erkennung zu überschreiben (stilisierte Akzente). Gültige Codes: en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. Nicht-englische Phonemisierung erfordert espeak-ng systemweit (brew install espeak-ng / apt-get install espeak-ng).

Geschwindigkeit

  • 0.7-0.8 — Tutorial, komplexe Inhalte, Barrierefreiheit
  • 1.0 — natürliches Tempo (Standard)
  • 1.1-1.2 — Intros, Übergänge, schwungvolle Inhalte
  • 1.5+ — selten angemessen; sorgfältig testen

Lange Skripte

Bei mehr als ein paar Absätzen in eine .txt-Datei schreiben und den Pfad übergeben. Eingaben mit mehr als ~5 Minuten Sprache können von einer Aufteilung in Segmente profitieren.

Anforderungen

Python 3.8+ mit kokoro-onnx und soundfile (pip install kokoro-onnx soundfile). Modell wird bei erster Nutzung heruntergeladen (~311 MB + ~27 MB Stimmen, zwischengespeichert in ~/.cache/hyperframes/tts/).

Transkription (transcribe)

Erzeugt ein normiertes transcript.json mit wortgenauen Zeitstempeln.

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # vorhandene importieren
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

Sprachenregel (Nicht verhandelbar)

Verwende niemals .en-Modelle, es sei denn, der Benutzer gibt ausdrücklich an, dass das Audio auf Englisch ist. .en-Modelle (small.en, medium.en) übersetzen nicht-englisches Audio ins Englische, anstatt es zu transkribieren. Dadurch wird die Originalsprache stillschweigend zerstört.

  1. Sprache bekannt und nicht Englisch → --model small --language <code> (kein .en-Suffix)
  2. Sprache bekannt und Englisch → --model small.en
  3. Sprache unbekannt → --model small (kein .en, kein --language) – Whisper erkennt automatisch

Standardmodell ist small, nicht small.en.

Modellgrößen

ModellGrößeGeschwindigkeitWann verwenden
tiny75 MBAm schnellstenSchnelle Vorschauen, Pipeline-Tests
base142 MBSchnellKurze Clips, klare Audios
small466 MBMittelStandard – die meisten Inhalte
medium1.5 GBLangsamWichtige Inhalte, verrauschtes Audio, Musik
large-v33.1 GBAm langsamstenProduktionsqualität

Musik mit Gesang: beginne mindestens mit medium; produzierte Tracks benötigen oft manuellen SRT/VTT-Import. Für Caption-Qualitätsprüfungen (nach jeder Transkription obligatorisch), die Bereinigungs-JS, Wiederholungsregeln und den OpenAI/Groq API-Importpfad siehe hyperframes/references/transcript-guide.md.

Ausgabeformat

Kompositionen verarbeiten ein flaches Array von Wortobjekten. Das id-Feld (w0, w1, ...) wird während der Normalisierung für stabile Referenzen bei Caption-Überschreibungen hinzugefügt; es ist optional für Rückwärtskompatibilität.

[
  { "id": "w0", "text": "Hallo", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "Welt.", "start": 0.6, "end": 1.2 }
]

Hintergrundentfernung (remove-background)

Entfernt den Hintergrund aus einem Video oder Bild, sodass es als transparentes Overlay in einer Komposition platziert werden kann (z. B. ein Avatar, der über einer Hintergrundebene schwebt).

npx hyperframes remove-background avatar.mp4 -o transparent.webm  # Standard: VP9 Alpha WebM
npx hyperframes remove-background avatar.mp4 -o transparent.mov   # ProRes 4444 (Bearbeitung)
npx hyperframes remove-background portrait.jpg -o cutout.png      # Einzelbildausschnitt
npx hyperframes remove-background avatar.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info                          # erkannte Anbieter

Verwendet u2net_human_seg (MIT). Beim ersten Start werden ~168 MB Gewichte nach ~/.cache/hyperframes/background-removal/models/ heruntergeladen.

Ausgabeformat

FormatWann
.webm (VP9 + Alpha)Standard. Kompositionen spielen dies direkt über <video>.
.mov (ProRes 4444)Bearbeitung in DaVinci/Premiere/FCP. Große Dateien.
.pngEinzelbildausschnitt (stehendes Motiv, über einem Hintergrund gelegt).

Chrome dekodiert VP9 Alpha nativ, daher fügt sich das .webm wie jedes andere stummgeschaltete Autoplay-Video in eine Komposition ein – siehe das hyperframes-Skill für die <video>-Spur-Konventionen.

TTS → Transcribe → Captions

Wenn kein vorab aufgezeichneter Voiceover vorhanden ist, einen erzeugen und zurück transkribieren, um wortgenaue Zeitstempel für Untertitel zu erhalten:

npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav   # → transcript.json

Whisper extrahiert präzise Wortgrenzen aus dem generierten Audio, sodass das Caption-Timing mit der Auslieferung übereinstimmt, ohne manuelle Nachbearbeitung.

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

libz-renlab-ai/TeamBrain

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

libz-renlab-ai/TeamBrain

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For CLI commands (init, lint, preview, render, transcribe, tts) see the hyperframes-cli skill.

libz-renlab-ai/TeamBrain

Translate an existing Remotion (React-based) video composition into a HyperFrames HTML composition. Use ONLY when the user explicitly asks to port, convert, migrate, translate, or rewrite a Remotion composition as HyperFrames — for example "port my Remotion project to HyperFrames", "convert this Remotion code to HyperFrames", "migrate from Remotion", "translate this Remotion comp", or "rewrite this as HyperFrames HTML". Do NOT use when (a) the user is authoring a NEW HyperFrames composition, even if they have or are A/B-testing a similar Remotion video; (b) the user mentions Remotion in passing without asking for migration; (c) the user shares Remotion code as reference material rather than asking for a translation; (d) the user asks for "the same video as my Remotion one" without explicitly asking to migrate the source — treat that as a fresh HyperFrames build. When in doubt, default to authoring a native HyperFrames composition with the `hyperframes` skill instead. Skill detects unsupported patterns (use...

libz-renlab-ai/TeamBrain

Capture a website and create a HyperFrames video from it. Use when: (1) a user provides a URL and wants a video, (2) someone says "capture this site", "turn this into a video", "make a promo from my site", (3) the user wants a social ad, product tour, or any video based on an existing website, (4) the user shares a link and asks for any kind of video content. Even if the user just pastes a URL — this is the skill to use.

libz-renlab-ai/TeamBrain

HyperFrames CLI tool — hyperframes init, lint, inspect, preview, render, transcribe, tts, doctor, browser, info, upgrade, compositions, docs, benchmark. Use when scaffolding a project, linting, validating, inspecting visual layout in compositions, previewing in the studio, rendering to video, transcribing audio, generating TTS, or troubleshooting the HyperFrames environment.

Verwandte Skills