Was macht HyperFrames Medien-Vorverarbeitung?
Drei CLI-Befehle, die Assets für Kompositionen erstellen: tts (Sprache), transcribe (Zeitstempel) und remove-background (transparentes Video). Jeder lädt beim ersten Start ein Modell herunter und speichert es unter ~/.cache/hyperframes/. Lege die Ausgabe in das Projekt und verweise in der Kompositions-HTML darauf – siehe das hyperframes-Skill für die Audio/Video-Element-Konventionen.
Text-zu-Sprache (tts)
Sprachaudio lokal mit Kokoro-82M erzeugen. Kein API-Key erforderlich.
npx hyperframes tts "Text hier" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list # alle 54 Stimmen
Stimmauswahl
Stimme an Inhalt anpassen. Standard ist af_heart.
| Inhaltstyp | Stimme | Grund |
|---|---|---|
| Produktdemo | af_heart/af_nova | Warm, professionell |
| Tutorial / Anleitung | am_adam/bf_emma | Neutral, leicht verständlich |
| Marketing / Werbung | af_sky/am_michael | Energisch oder autoritär |
| Dokumentation | bf_emma/bm_george | Klares britisches Englisch, formell |
| Lässig / sozial | af_heart/af_sky | Zugänglich, natürlich |
Mehrsprachigkeit
Stimm-IDs kodieren die Sprache im ersten Buchstaben: a=Amerikanisches Englisch, b=Britisches Englisch, e=Spanisch, f=Französisch, h=Hindi, i=Italienisch, j=Japanisch, p=Brasilianisches Portugiesisch, z=Mandarin. Die CLI erkennt den Phonemizer-Locale automatisch aus dem Präfix – kein --lang nötig, wenn die Stimme zum Text passt.
npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav
Verwende --lang nur, um die Auto-Erkennung zu überschreiben (stilisierte Akzente). Gültige Codes: en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. Nicht-englische Phonemisierung erfordert espeak-ng systemweit (brew install espeak-ng / apt-get install espeak-ng).
Geschwindigkeit
0.7-0.8— Tutorial, komplexe Inhalte, Barrierefreiheit1.0— natürliches Tempo (Standard)1.1-1.2— Intros, Übergänge, schwungvolle Inhalte1.5+— selten angemessen; sorgfältig testen
Lange Skripte
Bei mehr als ein paar Absätzen in eine .txt-Datei schreiben und den Pfad übergeben. Eingaben mit mehr als ~5 Minuten Sprache können von einer Aufteilung in Segmente profitieren.
Anforderungen
Python 3.8+ mit kokoro-onnx und soundfile (pip install kokoro-onnx soundfile). Modell wird bei erster Nutzung heruntergeladen (~311 MB + ~27 MB Stimmen, zwischengespeichert in ~/.cache/hyperframes/tts/).
Transkription (transcribe)
Erzeugt ein normiertes transcript.json mit wortgenauen Zeitstempeln.
npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt # vorhandene importieren
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json
Sprachenregel (Nicht verhandelbar)
Verwende niemals .en-Modelle, es sei denn, der Benutzer gibt ausdrücklich an, dass das Audio auf Englisch ist. .en-Modelle (small.en, medium.en) übersetzen nicht-englisches Audio ins Englische, anstatt es zu transkribieren. Dadurch wird die Originalsprache stillschweigend zerstört.
- Sprache bekannt und nicht Englisch →
--model small --language <code>(kein.en-Suffix) - Sprache bekannt und Englisch →
--model small.en - Sprache unbekannt →
--model small(kein.en, kein--language) – Whisper erkennt automatisch
Standardmodell ist small, nicht small.en.
Modellgrößen
| Modell | Größe | Geschwindigkeit | Wann verwenden |
|---|---|---|---|
tiny | 75 MB | Am schnellsten | Schnelle Vorschauen, Pipeline-Tests |
base | 142 MB | Schnell | Kurze Clips, klare Audios |
small | 466 MB | Mittel | Standard – die meisten Inhalte |
medium | 1.5 GB | Langsam | Wichtige Inhalte, verrauschtes Audio, Musik |
large-v3 | 3.1 GB | Am langsamsten | Produktionsqualität |
Musik mit Gesang: beginne mindestens mit medium; produzierte Tracks benötigen oft manuellen SRT/VTT-Import. Für Caption-Qualitätsprüfungen (nach jeder Transkription obligatorisch), die Bereinigungs-JS, Wiederholungsregeln und den OpenAI/Groq API-Importpfad siehe hyperframes/references/transcript-guide.md.
Ausgabeformat
Kompositionen verarbeiten ein flaches Array von Wortobjekten. Das id-Feld (w0, w1, ...) wird während der Normalisierung für stabile Referenzen bei Caption-Überschreibungen hinzugefügt; es ist optional für Rückwärtskompatibilität.
[
{ "id": "w0", "text": "Hallo", "start": 0.0, "end": 0.5 },
{ "id": "w1", "text": "Welt.", "start": 0.6, "end": 1.2 }
]
Hintergrundentfernung (remove-background)
Entfernt den Hintergrund aus einem Video oder Bild, sodass es als transparentes Overlay in einer Komposition platziert werden kann (z. B. ein Avatar, der über einer Hintergrundebene schwebt).
npx hyperframes remove-background avatar.mp4 -o transparent.webm # Standard: VP9 Alpha WebM
npx hyperframes remove-background avatar.mp4 -o transparent.mov # ProRes 4444 (Bearbeitung)
npx hyperframes remove-background portrait.jpg -o cutout.png # Einzelbildausschnitt
npx hyperframes remove-background avatar.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info # erkannte Anbieter
Verwendet u2net_human_seg (MIT). Beim ersten Start werden ~168 MB Gewichte nach ~/.cache/hyperframes/background-removal/models/ heruntergeladen.
Ausgabeformat
| Format | Wann |
|---|---|
.webm (VP9 + Alpha) | Standard. Kompositionen spielen dies direkt über <video>. |
.mov (ProRes 4444) | Bearbeitung in DaVinci/Premiere/FCP. Große Dateien. |
.png | Einzelbildausschnitt (stehendes Motiv, über einem Hintergrund gelegt). |
Chrome dekodiert VP9 Alpha nativ, daher fügt sich das .webm wie jedes andere stummgeschaltete Autoplay-Video in eine Komposition ein – siehe das hyperframes-Skill für die <video>-Spur-Konventionen.
TTS → Transcribe → Captions
Wenn kein vorab aufgezeichneter Voiceover vorhanden ist, einen erzeugen und zurück transkribieren, um wortgenaue Zeitstempel für Untertitel zu erhalten:
npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav # → transcript.json
Whisper extrahiert präzise Wortgrenzen aus dem generierten Audio, sodass das Caption-Timing mit der Auslieferung übereinstimmt, ohne manuelle Nachbearbeitung.