Communitygithub.com

HyperFrames Medienvorverarbeitung

Asset-Vorverarbeitung für HyperFrames-Kompositionen – Text-to-Speech (Kokoro), Audio-/Videotranskription (Whisper) und Hintergrundentfernung für transparente Overlays (u2net).

Was ist HyperFrames Medienvorverarbeitung?

Dieses Skill stellt drei CLI-Befehle zur Verfügung – `tts`, `transcribe` und `remove-background` – die essenzielle Medien-Assets für HyperFrames-Kompositionen generieren. Der `tts`-Befehl erzeugt lokal Sprachaufnahmen mit dem Kokoro-82M-Modell ohne API-Schlüssel und unterstützt über 50 Stimmen inklusive mehrsprachiger Phonemerkennung. Der `transcribe`-Befehl wandelt Audio oder Video in ein normiertes `transcript.json` mit Wort-für-Wort-Zeitstempeln um – basierend auf Whisper, mit automatischer Sprachdetektion und einem strikten Verbot von `.en`-Modellen bei nicht-englischen Inhalten. `remove-background` extrahiert Personen aus Videos oder Bildern (u2net_human_seg) als transparente Overlays (VP9-Alpha-WebM oder ProRes-4444-MOV), optional mit separater Hintergrundplatte für Compositing-Effekte wie „Text hinter der Person“. Das Skill legt Wert auf korrekte Modellauswahl (Größe vs. Genauigkeit), Sprachenregelung und gibt detaillierte Compositing-Anleitungen für typische Anwendungsfälle. Jeder Befehl lädt beim ersten Start sein Modell herunter und speichert es unter `~/.cache/hyperframes/`.

Funktioniert mit~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/delorenj/skills/tree/HEAD/hyperframes-media

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Vorschau

Aus dem Skill-README

Dokumentation

Was macht HyperFrames Medienvorverarbeitung?

Drei CLI-Befehle zur Erstellung von Assets für Kompositionen: tts (Sprache), transcribe (Zeitstempel) und remove-background (transparentes Video). Jeder lädt beim ersten Start ein Modell herunter und speichert es zwischengespeichert unter ~/.cache/hyperframes/. Lege die Ausgabe in das Projekt, und referenziere sie aus der Kompositions-HTML – siehe das Skill hyperframes für die Audio/Video-Element-Konventionen.

Text-to-Speech (tts)

Generiere Sprachaudio lokal mit Kokoro-82M. Kein API-Schlüssel erforderlich.

npx hyperframes tts "Text hier" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # alle 54 Stimmen

Stimmenauswahl

Stimme auf den Inhalt abstimmen. Standard ist af_heart.

InhaltstypStimmeGrund
Produktdemoaf_heart/af_novaWarm, professionell
Tutorial/Anleitungam_adam/bf_emmaNeutral, leicht verständlich
Marketing/Promoaf_sky/am_michaelEnergiegeladen oder autoritär
Dokumentationbf_emma/bm_georgeKlares britisches Englisch, formell
Lässig/Sozialesaf_heart/af_skyZugänglich, natürlich

Mehrsprachigkeit

Stimmencodes kodieren die Sprache im ersten Buchstaben: a=amerikanisches Englisch, b=britisches Englisch, e=Spanisch, f=Französisch, h=Hindi, i=Italienisch, j=Japanisch, p=brasilianisches Portugiesisch, z=Mandarin. Die CLI erkennt das Phonemizer-Gebietsschema automatisch aus dem Präfix – kein --lang nötig, wenn die Stimme zum Text passt.

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

Verwende --lang nur zum Überschreiben der automatischen Erkennung (stilisierte Akzente). Gültige Codes: en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. Nicht-englische Phonemierung erfordert espeak-ng systemweit (brew install espeak-ng / apt-get install espeak-ng).

Geschwindigkeit

  • 0.7-0.8 – Tutorial, komplexer Inhalt, Barrierefreiheit
  • 1.0 – natürliches Tempo (Standard)
  • 1.1-1.2 – Intros, Übergänge, aufmunternder Inhalt
  • 1.5+ – selten angemessen; sorgfältig testen

Lange Texte

Bei mehr als ein paar Absätzen schreibe den Text in eine .txt-Datei und übergib den Pfad. Bei Eingaben über ~5 Minuten Sprache kann es sinnvoll sein, diese in Abschnitte aufzuteilen.

Voraussetzungen

Python 3.8+ mit kokoro-onnx und soundfile (pip install kokoro-onnx soundfile). Modell wird bei erster Verwendung heruntergeladen (~311 MB + ~27 MB Stimmen, zwischengespeichert in ~/.cache/hyperframes/tts/).

Transkription (transcribe)

Erstelle ein normiertes transcript.json mit Wort-für-Wort-Zeitstempeln.

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # importiere bestehendes
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

Sprachregel (Nicht verhandelbar)

Verwende niemals .en-Modelle, es sei denn, der Benutzer gibt ausdrücklich an, dass das Audio Englisch ist. .en-Modelle (small.en, medium.en) übersetzen nicht-englisches Audio ins Englische anstatt es zu transkribieren. Dies zerstört stillschweigend die Originalsprache.

  1. Sprache bekannt und nicht-englisch → --model small --language <code> (kein .en-Suffix)
  2. Sprache bekannt und Englisch → --model small.en
  3. Sprache unbekannt → --model small (kein .en, kein --language) – Whisper erkennt automatisch

Standardmodell ist small, nicht small.en.

Modellgrößen

ModellGrößeGeschwindigkeitWann verwenden
tiny75 MBAm schnellstenSchnellvorschauen, Pipeline-Test
base142 MBSchnellKurze Clips, klare Audiodaten
small466 MBMittelStandard – die meisten Inhalte
medium1.5 GBLangsamWichtige Inhalte, verrauschte Audiodaten, Musik
large-v33.1 GBAm langsamstenProduktionsqualität

Musik mit Gesang: beginne mindestens bei medium; produzierte Tracks benötigen oft manuellen SRT/VTT-Import. Für Caption-Qualitätsprüfungen (obligatorisch nach jeder Transkription), die Bereinigungs-JS, Wiederholungsregeln und den OpenAI/Groq-API-Importpfad siehe hyperframes/references/transcript-guide.md.

Ausgabeformat

Kompositionen verwenden ein flaches Array von Wortobjekten. Das Feld id (w0, w1, ...) wird bei der Normalisierung hinzugefügt, um stabile Referenzen in Caption-Überschreibungen zu ermöglichen; es ist optional aus Gründen der Abwärtskompatibilität.

[
  { "id": "w0", "text": "Hallo", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "Welt.", "start": 0.6, "end": 1.2 }
]

Hintergrundentfernung (remove-background)

Entferne den Hintergrund eines Videos oder Bildes, sodass das Motiv (typischerweise eine Person – Avatar, Präsentator, sprechender Kopf) als transparentes Overlay in einer Komposition platziert werden kann.

npx hyperframes remove-background subject.mp4 -o transparent.webm  # Standard: VP9 Alpha WebM
npx hyperframes remove-background subject.mp4 -o transparent.mov   # ProRes 4444 (Bearbeitung)
npx hyperframes remove-background portrait.jpg -o cutout.png       # Einzelbild-Ausschnitt
npx hyperframes remove-background subject.mp4 -o subject.webm \
  --background-output plate.webm                                   # beide Ebenen in einem Durchgang
npx hyperframes remove-background subject.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info                           # erkannte Anbieter

Verwendet u2net_human_seg (MIT). Der erste Start lädt ~168 MB Gewichte nach ~/.cache/hyperframes/background-removal/models/ herunter.

Ebenentrennung (--background-output)

Übergib --background-output (oder -b), um ein zweites transparentes Video zusammen mit dem Ausschnitt auszugeben: gleiches RGB der Quelle, Alpha ist 255 − Maske statt Maske. Der Ausschnitt ist das Motiv mit transparentem Hintergrund; die Platte ist die ursprüngliche Umgebung mit einem transparenten Loch, wo das Motiv war.

DateiAlpha ist…Verwendung
-o subject.webmDie Maske – Motiv undurchsichtig, Hintergrund transparentVordergrundebene, oben platzieren
--background-output plate.webmInvers – Umgebung undurchsichtig, Motivbereich transparentUntere Ebene; setze Text oder Grafiken zwischen diese und das Motiv

Beide Ausgaben teilen dieselbe --quality-Voreinstellung und laufen mit einem einzigen Inferenzdurchgang – die Encode-Kosten verdoppeln sich ungefähr, die Segmentierungskosten bleiben gleich. Nur gültig für Videoeingaben und .webm/.mov-Ausgaben.

Lochgeschnittene Platte, keine nachbearbeitete saubere Platte. Der Motivbereich in plate.webm ist vollständig transparent – komponiere etwas Undurchsichtiges darunter, um das Loch zu füllen. Der einzelne Test, ob --background-output das richtige Werkzeug ist: Wird jemals etwas durch die Silhouette des Motivs sichtbar sein, wo das Motiv war?

AnwendungsfallRichtiges Werkzeug
Text/Grafiken zwischen dem Ausschnitt und der Platte (der Grund für diesen Befehl)Lochschnitt (--background-output)
Motiv auf eine nicht verwandte SzeneNur subject.webm; ignoriere die Platte
Den Raum ohne die Person zeigen, allein über keinem anderen InhaltSaubere Platte – benötigt einen Inpainter (LaMa, ProPainter, E2FGVI). Nicht dieser Befehl.
Das Motiv durch ein anderes Motiv ersetzenSaubere Platte – dasselbe wie oben

Wenn ein Benutzer nach „dem Raum ohne die Person” fragt und beabsichtigt, ihn eigenständig anzuzeigen, greife nicht zu --background-output. Sage ihnen, dass sie einen Inpainter benötigen.

Typische geschichtete Komposition (der kanonische Lochschnitt-Anwendungsfall):

<!-- z=1 die inverse-alpha-Platte füllt alles außer dem Motivbereich -->
<video
  src="plate.webm"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>

<!-- z=2 Grafiken/Text leben zwischen den beiden Ebenen -->
<h1 id="headline" style="z-index:2; ...">MACH ES IN HYPERFRAMES</h1>

<!-- z=3 der Ausschnitt schwebt das Motiv wieder über die Überschrift -->
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3">
  <video
    src="subject.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Dies ist funktional äquivalent zum Muster „Text hinter dem Motiv” unten, aber du benötigst nicht das ursprüngliche presenter.mp4 im Projekt – die Platte ersetzt es. Nützlich, wenn du nur die beiden transparenten Ebenen ausliefern möchtest und dem Benutzer erlauben willst, beliebige Inhalte dazwischen einzufügen.

Ausgabeformat

FormatWann
.webm (VP9 + Alpha)Standard. Kompositionen spielen dies direkt über <video> ab.
.mov (ProRes 4444)Bearbeitung in DaVinci/Premiere/FCP. Große Dateien.
.pngEinzelbild-Ausschnitt (stehendes Motiv, über einen Hintergrund gelegt).

Chrome dekodiert VP9 Alpha nativ, daher lässt sich die .webm wie jedes andere stummgeschaltete Autoplay-Video in eine Komposition einfügen – siehe das Skill hyperframes für die <video>-Track-Konventionen.

Qualitätsvoreinstellungen

--quality fast|balanced|best steuert nur den CRF des VP9-Encoders – die Segmentierungsqualität ist fest.

VoreinstellungCRFWann
fast30Beim Iterieren, kleinere Datei, lockerere Farbanpassung
balanced18Standard. Visuell identisch für die meisten Anwendungen
best12Master/Endauslieferung. Größte Datei, genauste Anpassung

Compositing-Muster – wähle das richtige

Das ausgeschnittene WebM ist eine neu codierte Kopie des RGB der Quell-MP4. Diese Wahl hat Konsequenzen, je nachdem, was dahinter platziert wird:

MusterWas hinter dem Ausschnitt istErgebnis
Ausschnitt über einer anderen Szene (am häufigsten)Statisches Bild, Verlauf oder nicht verwandtes VideoSieht großartig aus. Das RGB des Ausschnitts ist die einzige Quelle des Motivs – keine Verdopplung, kein Randhalo. Dafür ist remove-background gemacht.
Ausschnitt über seiner eigenen Quell-MP4 (Text hinter dem Motiv)Dieselbe MP4, aus der der Ausschnitt generiert wurdeZwei RGB-Quellen für dieselbe Person. Bei Standard --quality balanced (crf 18) ist die Verdopplung kaum sichtbar; bei --quality fast (crf 30) siehst du eine leichte Farbverschiebung / Randhalo. Verwende --quality best (crf 12) für Master.
Ausschnitt über einer anderen Aufnahme derselben PersonFilmmaterial desselben MotivsSieht aus wie zwei überlappende Personen. Tu das nicht.

Text hinter dem Motiv (Überschrift hinter einem Präsentator):

<video
  src="presenter.mp4"
  id="bg"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>
<h1 id="headline" style="z-index:2; ...">MACH ES IN HYPERFRAMES</h1>
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3;opacity:0">
  <video
    src="presenter.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Zwei wichtige Regeln:

  1. Umschließe das ausgeschnittene Video in einem nicht getimten <div> und animiere die Deckkraft des Wrappers, nicht die des Videoelements. Das Framework erzwingt opacity:1 für aktive Clips (jedes Element mit data-start/data-duration), daher wird eine direkte Animation der Video-Deckkraft stillschweigend überschrieben. Der Wrapper hat keine data-*-Attribute, daher gehört er deinem CSS/GSAP.
  2. Beide Videos verwenden data-start="0" und data-media-start="0", sodass das Framework sie synchron ab t=0 dekodiert. Ein spätes Einhängen des Ausschnitts (data-start=3.3) führt zu einem Seek + Aufwärmen, das einen Frame neben der Basis-MP4 landet – sichtbar als ein Frame von Fehlausrichtung am Schnitt.

Dann die Deckkraft des Wrappers per GSAP am Schnitt umschalten: tl.set(cutoutWrap, { opacity: 1 }, 3.3).

TTS → Transkription → Untertitel

Wenn es keine vorab aufgezeichnete Sprachaufnahme gibt, generiere eine und transkribiere sie zurück, um Wort-für-Wort-Zeitstempel für Untertitel zu erhalten:

npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav   # → transcript.json

Individual skills in this repo

This repo contains 14 individual skills — each has its own dedicated page.

delorenj/skills

Plan and generate terminal ASCII animations/screensaver-style output (FPS, refresh rules, loop policy, low-flicker guidance), with a static poster frame and an optional local demo script.

delorenj/skills

ASCII video: convert video/audio to colored ASCII MP4/GIF.

delorenj/skills

Plan, build and quality-check a premium short commercial for a real business (roofing, property, ecommerce, B2B software) using AI-generated footage, code-built motion (HTML/GSAP), selective Three.js and an independent-critic "Gauntlet" loop. Use when asked to make a launch-style / SaaS-style video, business ad, explainer, sample reel or pitch video, or to review and improve one. Encodes motion principles distilled from 28 professional launch films, a quality bar, audio rules and a business-offer playbook.

delorenj/skills

CSS animation adapter patterns for HyperFrames. Use when authoring CSS keyframes, animation-delay based timing, animation-fill-mode, animation-play-state, or CSS-only motion that HyperFrames must seek deterministically during preview and rendering.

delorenj/skills

Generate professional voiceovers using ElevenLabs AI. Use when the user needs to create voiceovers for videos, audio narration, or text-to-speech content. Supports multiple voices with character presets (narrator, salesperson, expert) for natural delivery. Includes single scene regeneration for fine-tuning.

delorenj/skills

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

delorenj/skills

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

delorenj/skills

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For dev-loop CLI commands (init, lint, inspect, preview, render) see the hyperframes-cli skill; for asset preprocessing commands (tts, transcribe, remove-background) see the hyperframes-media skill.

delorenj/skills

Manim CE animations: 3Blue1Brown math/algo videos.

delorenj/skills

Join a Google Meet or Zoom call as a video meeting agent via PikaStreaming. Trigger: user drops a Google Meet or Zoom link, or asks to join a meeting.

delorenj/skills

Translate an existing Remotion (React-based) video composition into a HyperFrames HTML composition. Use ONLY when the user explicitly asks to port, convert, migrate, translate, or rewrite a Remotion composition as HyperFrames (e.g. "port my Remotion project to HyperFrames"). Do NOT use when (a) authoring a NEW HyperFrames composition (even if A/B-testing a Remotion video); (b) Remotion is mentioned in passing; (c) Remotion code is shared as reference, not for translation; (d) the user wants "the same video as my Remotion one" without explicitly asking to migrate the source — treat as a fresh HyperFrames build. When in doubt, default to the `hyperframes` skill. Detects unsupported patterns (useState, useEffect side effects, async calculateMetadata, third-party React component libraries, `@remotion/lambda`) and recommends the runtime interop escape hatch instead of a lossy translation.

delorenj/skills

Generate speech using the self-hosted voxxy (vox) TTS service at https://vox.delo.sh. Use when the user asks to speak, say, narrate, synthesize speech, clone a voice, create a voice, add or register a voice, pipe TTS, or control voice qualities by description (e.g. "a young woman with a cheerful voice"). Handles HTTP API usage, voice profile management, description-based voice design, cloning, MCP registration, and integration patterns for new platforms.

delorenj/skills

Capture a website and create a HyperFrames video from it. Use when: (1) a user provides a URL and wants a video, (2) someone says "capture this site", "turn this into a video", "make a promo from my site", (3) the user wants a social ad, product tour, or any video based on an existing website, (4) the user shares a link and asks for any kind of video content. Even if the user just pastes a URL — this is the skill to use.

delorenj/skills

YouTube transcripts to summaries, threads, blogs.

Verwandte Skills