HyperFrames Medien
CLI-Befehle zur Erstellung von Assets (tts, bgm, transcribe, remove-background) sowie alles, was zum Konsumieren und Animieren von Transkriptdaten in HTML benötigt wird. Zum Einfügen von Assets in Kompositionen siehe hyperframes-core.
Provider-Ketten (automatisch aus der Umgebung erkannt)
TTS — npx hyperframes tts "..." wählt den ersten verfügbaren Anbieter:
| Reihenfolge | Anbieter | Erkennung, wenn | Wort-Zeitstempel |
|---|---|---|---|
| 1 | HeyGen (Starfish) | $HEYGEN_API_KEY / hyperframes auth login | Ja, nativ — übergebe --words narration.words.json zur Erfassung |
| 2 | ElevenLabs | $ELEVENLABS_API_KEY gesetzt | Nein — verketten mit transcribe danach |
| 3 | Kokoro-82M (lokal, 54 Stimmen) | immer (kein Schlüssel erforderlich) | Nein — verketten mit transcribe danach |
Wenn das installierte
hyperframes ttsdie reine Lokalversion ist (sein--helpzeigt "Kokoro-82M" und hat keine--provider/--wordsFlags), fällt es stillschweigend auf Kokoro zurück, selbst wenn$HEYGEN_API_KEYgesetzt ist. Um HeyGen unabhängig von der CLI-Version zu erzwingen, verwende das eigenständige Skriptscripts/heygen-tts.mjs(siehereferences/tts.md).
BGM — npx hyperframes bgm --duration N:
| Reihenfolge | Anbieter | Erkennung, wenn |
|---|---|---|
| 1 | Google Lyria (RealTime) | $GEMINI_API_KEY oder $GOOGLE_API_KEY gesetzt |
| 2 | MusicGen (facebook/musicgen-small, lokal) | Python transformers + torch + soundfile installiert |
Überschreibe beide mit --provider <name>.
Routing
| Aufgabe | Lese |
|---|---|
npx hyperframes tts — Provider-Kette, Stimmen-IDs, words.json | references/tts.md |
| HeyGen ohne CLI — eigenständiges REST-Skript (wav + words) | scripts/heygen-tts.mjs (siehe references/tts.md) |
npx hyperframes bgm — Lyria vs MusicGen, Stimmungs-Prompts, Tuning | references/bgm.md |
npx hyperframes transcribe — Whisper, Modellregeln, Ausgabeform | references/transcribe.md |
npx hyperframes remove-background — transparente Ausschnitte | references/remove-background.md |
| TTS → Transkription → Untertitel (keine aufgenommene Sprachausgabe) | references/tts-to-captions.md |
| Untertitel-Authoring — Stilerkennung, Layout, Wortgruppierung, Beenden | references/captions/authoring.md |
| Transkript-Handling — Eingabeformate, Qualitätskontrollen, Bereinigung, APIs | references/captions/transcript-handling.md |
| Untertitel-Animation — Karaoke, Markereffekte, audio-reaktiv | references/captions/motion.md |
| Modell-Caches, Systemabhängigkeiten, Fehlerbehebung | references/requirements.md |
Nicht verhandelbare Regeln
- Stimmen-IDs sind anbieterabhängig.
am_michaelist nur Kokoro; HeyGen-UUIDs funktionieren nicht mit Kokoro. Wenn du--voiceübergibst, setze auch--provider, um eine stille Anbieterabweichung zu vermeiden, wenn sich die Umgebung des Benutzers ändert. - Übergib immer
--modelantranscribe. Der CLI-Standardsmall.enübersetzt nicht-englische Audiodateien stillschweigend. Siehereferences/transcribe.md→ "Language Rule". - HeyGen liefert Wort-Zeitstempel; ElevenLabs / Kokoro nicht. Wenn du Untertitel möchtest, übergib entweder
--wordsan HeyGen und verwende dieses JSON direkt, oder führetranscribegegen die Audiodatei aus. Gehe nicht davon aus, dass Wortdaten immer vorhanden sind. - Untertitel konsumieren das flache Wort-Array-Format mit
{ id, text, start, end }. Siehereferences/transcribe.md→ "Output Shape". remove-background --background-outputist lochschneidend, nicht nachmalend. Für "Szene ohne Person" ist ein anderes Werkzeug erforderlich. Siehereferences/remove-background.md→ "When NOT the right tool".