Was macht HyperFrames Medienvorverarbeitung?
Drei CLI-Befehle zur Erstellung von Assets für Kompositionen: tts (Sprache), transcribe (Zeitstempel) und remove-background (transparentes Video). Jeder lädt beim ersten Start ein Modell herunter und speichert es zwischengespeichert unter ~/.cache/hyperframes/. Lege die Ausgabe in das Projekt, und referenziere sie aus der Kompositions-HTML – siehe das Skill hyperframes für die Audio/Video-Element-Konventionen.
Text-to-Speech (tts)
Generiere Sprachaudio lokal mit Kokoro-82M. Kein API-Schlüssel erforderlich.
npx hyperframes tts "Text hier" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list # alle 54 Stimmen
Stimmenauswahl
Stimme auf den Inhalt abstimmen. Standard ist af_heart.
| Inhaltstyp | Stimme | Grund |
|---|---|---|
| Produktdemo | af_heart/af_nova | Warm, professionell |
| Tutorial/Anleitung | am_adam/bf_emma | Neutral, leicht verständlich |
| Marketing/Promo | af_sky/am_michael | Energiegeladen oder autoritär |
| Dokumentation | bf_emma/bm_george | Klares britisches Englisch, formell |
| Lässig/Soziales | af_heart/af_sky | Zugänglich, natürlich |
Mehrsprachigkeit
Stimmencodes kodieren die Sprache im ersten Buchstaben: a=amerikanisches Englisch, b=britisches Englisch, e=Spanisch, f=Französisch, h=Hindi, i=Italienisch, j=Japanisch, p=brasilianisches Portugiesisch, z=Mandarin. Die CLI erkennt das Phonemizer-Gebietsschema automatisch aus dem Präfix – kein --lang nötig, wenn die Stimme zum Text passt.
npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav
Verwende --lang nur zum Überschreiben der automatischen Erkennung (stilisierte Akzente). Gültige Codes: en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. Nicht-englische Phonemierung erfordert espeak-ng systemweit (brew install espeak-ng / apt-get install espeak-ng).
Geschwindigkeit
0.7-0.8– Tutorial, komplexer Inhalt, Barrierefreiheit1.0– natürliches Tempo (Standard)1.1-1.2– Intros, Übergänge, aufmunternder Inhalt1.5+– selten angemessen; sorgfältig testen
Lange Texte
Bei mehr als ein paar Absätzen schreibe den Text in eine .txt-Datei und übergib den Pfad. Bei Eingaben über ~5 Minuten Sprache kann es sinnvoll sein, diese in Abschnitte aufzuteilen.
Voraussetzungen
Python 3.8+ mit kokoro-onnx und soundfile (pip install kokoro-onnx soundfile). Modell wird bei erster Verwendung heruntergeladen (~311 MB + ~27 MB Stimmen, zwischengespeichert in ~/.cache/hyperframes/tts/).
Transkription (transcribe)
Erstelle ein normiertes transcript.json mit Wort-für-Wort-Zeitstempeln.
npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt # importiere bestehendes
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json
Sprachregel (Nicht verhandelbar)
Verwende niemals .en-Modelle, es sei denn, der Benutzer gibt ausdrücklich an, dass das Audio Englisch ist. .en-Modelle (small.en, medium.en) übersetzen nicht-englisches Audio ins Englische anstatt es zu transkribieren. Dies zerstört stillschweigend die Originalsprache.
- Sprache bekannt und nicht-englisch →
--model small --language <code>(kein.en-Suffix) - Sprache bekannt und Englisch →
--model small.en - Sprache unbekannt →
--model small(kein.en, kein--language) – Whisper erkennt automatisch
Standardmodell ist small, nicht small.en.
Modellgrößen
| Modell | Größe | Geschwindigkeit | Wann verwenden |
|---|---|---|---|
tiny | 75 MB | Am schnellsten | Schnellvorschauen, Pipeline-Test |
base | 142 MB | Schnell | Kurze Clips, klare Audiodaten |
small | 466 MB | Mittel | Standard – die meisten Inhalte |
medium | 1.5 GB | Langsam | Wichtige Inhalte, verrauschte Audiodaten, Musik |
large-v3 | 3.1 GB | Am langsamsten | Produktionsqualität |
Musik mit Gesang: beginne mindestens bei medium; produzierte Tracks benötigen oft manuellen SRT/VTT-Import. Für Caption-Qualitätsprüfungen (obligatorisch nach jeder Transkription), die Bereinigungs-JS, Wiederholungsregeln und den OpenAI/Groq-API-Importpfad siehe hyperframes/references/transcript-guide.md.
Ausgabeformat
Kompositionen verwenden ein flaches Array von Wortobjekten. Das Feld id (w0, w1, ...) wird bei der Normalisierung hinzugefügt, um stabile Referenzen in Caption-Überschreibungen zu ermöglichen; es ist optional aus Gründen der Abwärtskompatibilität.
[
{ "id": "w0", "text": "Hallo", "start": 0.0, "end": 0.5 },
{ "id": "w1", "text": "Welt.", "start": 0.6, "end": 1.2 }
]
Hintergrundentfernung (remove-background)
Entferne den Hintergrund eines Videos oder Bildes, sodass das Motiv (typischerweise eine Person – Avatar, Präsentator, sprechender Kopf) als transparentes Overlay in einer Komposition platziert werden kann.
npx hyperframes remove-background subject.mp4 -o transparent.webm # Standard: VP9 Alpha WebM
npx hyperframes remove-background subject.mp4 -o transparent.mov # ProRes 4444 (Bearbeitung)
npx hyperframes remove-background portrait.jpg -o cutout.png # Einzelbild-Ausschnitt
npx hyperframes remove-background subject.mp4 -o subject.webm \
--background-output plate.webm # beide Ebenen in einem Durchgang
npx hyperframes remove-background subject.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info # erkannte Anbieter
Verwendet u2net_human_seg (MIT). Der erste Start lädt ~168 MB Gewichte nach ~/.cache/hyperframes/background-removal/models/ herunter.
Ebenentrennung (--background-output)
Übergib --background-output (oder -b), um ein zweites transparentes Video zusammen mit dem Ausschnitt auszugeben: gleiches RGB der Quelle, Alpha ist 255 − Maske statt Maske. Der Ausschnitt ist das Motiv mit transparentem Hintergrund; die Platte ist die ursprüngliche Umgebung mit einem transparenten Loch, wo das Motiv war.
| Datei | Alpha ist… | Verwendung |
|---|---|---|
-o subject.webm | Die Maske – Motiv undurchsichtig, Hintergrund transparent | Vordergrundebene, oben platzieren |
--background-output plate.webm | Invers – Umgebung undurchsichtig, Motivbereich transparent | Untere Ebene; setze Text oder Grafiken zwischen diese und das Motiv |
Beide Ausgaben teilen dieselbe --quality-Voreinstellung und laufen mit einem einzigen Inferenzdurchgang – die Encode-Kosten verdoppeln sich ungefähr, die Segmentierungskosten bleiben gleich. Nur gültig für Videoeingaben und .webm/.mov-Ausgaben.
Lochgeschnittene Platte, keine nachbearbeitete saubere Platte. Der Motivbereich in plate.webm ist vollständig transparent – komponiere etwas Undurchsichtiges darunter, um das Loch zu füllen. Der einzelne Test, ob --background-output das richtige Werkzeug ist: Wird jemals etwas durch die Silhouette des Motivs sichtbar sein, wo das Motiv war?
| Anwendungsfall | Richtiges Werkzeug |
|---|---|
| Text/Grafiken zwischen dem Ausschnitt und der Platte (der Grund für diesen Befehl) | Lochschnitt (--background-output) |
| Motiv auf eine nicht verwandte Szene | Nur subject.webm; ignoriere die Platte |
| Den Raum ohne die Person zeigen, allein über keinem anderen Inhalt | Saubere Platte – benötigt einen Inpainter (LaMa, ProPainter, E2FGVI). Nicht dieser Befehl. |
| Das Motiv durch ein anderes Motiv ersetzen | Saubere Platte – dasselbe wie oben |
Wenn ein Benutzer nach „dem Raum ohne die Person” fragt und beabsichtigt, ihn eigenständig anzuzeigen, greife nicht zu --background-output. Sage ihnen, dass sie einen Inpainter benötigen.
Typische geschichtete Komposition (der kanonische Lochschnitt-Anwendungsfall):
<!-- z=1 die inverse-alpha-Platte füllt alles außer dem Motivbereich -->
<video
src="plate.webm"
data-start="0"
data-duration="6"
data-track-index="0"
muted
playsinline
></video>
<!-- z=2 Grafiken/Text leben zwischen den beiden Ebenen -->
<h1 id="headline" style="z-index:2; ...">MACH ES IN HYPERFRAMES</h1>
<!-- z=3 der Ausschnitt schwebt das Motiv wieder über die Überschrift -->
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3">
<video
src="subject.webm"
data-start="0"
data-duration="6"
data-track-index="1"
muted
playsinline
></video>
</div>
Dies ist funktional äquivalent zum Muster „Text hinter dem Motiv” unten, aber du benötigst nicht das ursprüngliche presenter.mp4 im Projekt – die Platte ersetzt es. Nützlich, wenn du nur die beiden transparenten Ebenen ausliefern möchtest und dem Benutzer erlauben willst, beliebige Inhalte dazwischen einzufügen.
Ausgabeformat
| Format | Wann |
|---|---|
.webm (VP9 + Alpha) | Standard. Kompositionen spielen dies direkt über <video> ab. |
.mov (ProRes 4444) | Bearbeitung in DaVinci/Premiere/FCP. Große Dateien. |
.png | Einzelbild-Ausschnitt (stehendes Motiv, über einen Hintergrund gelegt). |
Chrome dekodiert VP9 Alpha nativ, daher lässt sich die .webm wie jedes andere stummgeschaltete Autoplay-Video in eine Komposition einfügen – siehe das Skill hyperframes für die <video>-Track-Konventionen.
Qualitätsvoreinstellungen
--quality fast|balanced|best steuert nur den CRF des VP9-Encoders – die Segmentierungsqualität ist fest.
| Voreinstellung | CRF | Wann |
|---|---|---|
fast | 30 | Beim Iterieren, kleinere Datei, lockerere Farbanpassung |
balanced | 18 | Standard. Visuell identisch für die meisten Anwendungen |
best | 12 | Master/Endauslieferung. Größte Datei, genauste Anpassung |
Compositing-Muster – wähle das richtige
Das ausgeschnittene WebM ist eine neu codierte Kopie des RGB der Quell-MP4. Diese Wahl hat Konsequenzen, je nachdem, was dahinter platziert wird:
| Muster | Was hinter dem Ausschnitt ist | Ergebnis |
|---|---|---|
| Ausschnitt über einer anderen Szene (am häufigsten) | Statisches Bild, Verlauf oder nicht verwandtes Video | Sieht großartig aus. Das RGB des Ausschnitts ist die einzige Quelle des Motivs – keine Verdopplung, kein Randhalo. Dafür ist remove-background gemacht. |
| Ausschnitt über seiner eigenen Quell-MP4 (Text hinter dem Motiv) | Dieselbe MP4, aus der der Ausschnitt generiert wurde | Zwei RGB-Quellen für dieselbe Person. Bei Standard --quality balanced (crf 18) ist die Verdopplung kaum sichtbar; bei --quality fast (crf 30) siehst du eine leichte Farbverschiebung / Randhalo. Verwende --quality best (crf 12) für Master. |
| Ausschnitt über einer anderen Aufnahme derselben Person | Filmmaterial desselben Motivs | Sieht aus wie zwei überlappende Personen. Tu das nicht. |
Text hinter dem Motiv (Überschrift hinter einem Präsentator):
<video
src="presenter.mp4"
id="bg"
data-start="0"
data-duration="6"
data-track-index="0"
muted
playsinline
></video>
<h1 id="headline" style="z-index:2; ...">MACH ES IN HYPERFRAMES</h1>
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3;opacity:0">
<video
src="presenter.webm"
data-start="0"
data-duration="6"
data-track-index="1"
muted
playsinline
></video>
</div>
Zwei wichtige Regeln:
- Umschließe das ausgeschnittene Video in einem nicht getimten
<div>und animiere die Deckkraft des Wrappers, nicht die des Videoelements. Das Framework erzwingt opacity:1 für aktive Clips (jedes Element mitdata-start/data-duration), daher wird eine direkte Animation der Video-Deckkraft stillschweigend überschrieben. Der Wrapper hat keinedata-*-Attribute, daher gehört er deinem CSS/GSAP. - Beide Videos verwenden
data-start="0"unddata-media-start="0", sodass das Framework sie synchron ab t=0 dekodiert. Ein spätes Einhängen des Ausschnitts (data-start=3.3) führt zu einem Seek + Aufwärmen, das einen Frame neben der Basis-MP4 landet – sichtbar als ein Frame von Fehlausrichtung am Schnitt.
Dann die Deckkraft des Wrappers per GSAP am Schnitt umschalten: tl.set(cutoutWrap, { opacity: 1 }, 3.3).
TTS → Transkription → Untertitel
Wenn es keine vorab aufgezeichnete Sprachaufnahme gibt, generiere eine und transkribiere sie zurück, um Wort-für-Wort-Zeitstempel für Untertitel zu erhalten:
npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav # → transcript.json