Communitygithub.com

HyperFrames Medien

Audio- und Medien-Assets für HyperFrames-Kompositionen, erstellt von einer gemeinsamen Audio-Engine (`scripts/audio.mjs`) – Multi-Provider TTS (HeyGen / ElevenLabs / Kokoro lokal), Hintergrundmusik + Soundeffekte (HeyGen Audio-Library-Abruf standardmäßig, mit lokaler Lyria / MusicGen BGM-Generierung und einer gebündelten SFX-Bibliothek als Fallback ohne Anmeldedaten), Whisper-Transkription, Hintergrundentfernung und Untertitel-Erstellung.

Was ist HyperFrames Medien?

Diese Fähigkeit bietet eine einheitliche Audio-Engine für HyperFrames-Kompositionen, die Sprachausgabe (TTS), Hintergrundmusik (BGM), Soundeffekte (SFX), Transkription, Untertitel und Hintergrundentfernung verwaltet. Sie unterstützt mehrere TTS-Anbieter (HeyGen, ElevenLabs, Kokoro) und schaltet automatisch je nach Verfügbarkeit von Anmeldedaten um, wobei Kokoro als lokaler Fallback ohne Schlüssel dient. BGM und SFX werden standardmäßig aus der HeyGen Audio-Bibliothek abgerufen und fallen bei fehlenden Anmeldedaten auf lokale Generierung (Lyria/MusicGen) bzw. eine gebündelte 21-Dateien-SFX-Bibliothek zurück. Die Engine wird über eine `audio_request.json` gesteuert und gibt eine `audio_meta.json` aus, die nahtlos in HyperFrames-Kompositionen integriert werden kann. Die Fähigkeit enthält detaillierte Referenzen für TTS, Transkription, Untertitel-Erstellung und Hintergrundentfernung und stellt sicher, dass Workflows eine einzige, konsistente Engine nutzen, anstatt Audio-Funktionen eigenständig zu implementieren.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/whyiloveher2411/_biong_backend_FE/tree/HEAD/agent/skills/hyperframes-media

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht HyperFrames Medien?

Erstellen Sie die Audio- und Medien-Assets, die eine Komposition benötigt – Sprachaufnahmen (TTS), Hintergrundmusik + Soundeffekte, Transkription, Untertitel, Hintergrundentfernung – und nutzen und animieren Sie diese Daten in HTML. Informationen zum Einfügen von Assets in Kompositionen finden Sie unter hyperframes-core.

Die Audio-Engine – eine Quelle für TTS · BGM · SFX

Workflows implementieren Audio NICHT selbst oder verwenden eine separate Kopie. Es gibt eine Engine – scripts/audio.mjs – die eine neutrale audio_request.json entgegennimmt und audio_meta.json schreibt (sowie Assets unter assets/voice|bgm|sfx):

# <MEDIA_DIR> = Verzeichnis dieser Fähigkeit
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Alle drei Fähigkeiten basieren auf EINEM Schalter – ob ein HeyGen-Anmeldedatum vorhanden ist (ermittelt aus $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, nicht der CLI):

FähigkeitHeyGen-Anmeldedatum vorhandenabwesend
TTSHeyGen Starfish REST (native Wort-Zeitstempel)→ ElevenLabs → Kokoro (Kette transcribe für Wörter)
BGMHeyGen Musik-AbrufLyria → MusicGen lokale Generierung (abgetrennt)
SFXHeyGen Sound-Effekte-Abruf (min_score 0.4)gebündelte 21-Dateien-Bibliothek (assets/sfx/)
  • Anfrage (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id verknüpft jede Zeile mit dem Modell des Aufrufers (eine Frame-Nummer, eine Szenen-ID, …). bgm.mode = retrieve | generate | none; weglassen für automatisch (abrufen bei Anmeldedatum, sonst generieren). Ein explizites retrieve ist strikt – es überspringt, anstatt eine abgetrennte Generierung zu starten (für Aufrufer ohne wait-bgm-Schritt).
  • Ausgabe (audio_meta.json, ID-basiert): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx führt eine Teilmenge aus und fügt in ein vorhandenes --out ein (z. B. TTS+BGM früh, SFX sobald Cues existieren).
  • BGM-Generierung wird abgetrennt gestartet (bgm_pending: true) – führen Sie scripts/wait-bgm.mjs vor der Zusammenstellung aus.
  • scripts/heygen-tts.mjs ist eine einmalige CLI über denselben Code (ein Text → wav + Wörter) für Fälle, in denen nur HeyGen TTS ohne eine Anfragedatei benötigt wird.

Die vollständige Flag-Liste und das Schema von audio_meta.json befinden sich im Kopf von scripts/audio.mjs. Die folgenden Referenzen decken die Anbieterdetails und Randfälle hinter jeder Fähigkeit ab.

Anbieterketten (die Details hinter der Engine)

TTS – der erste verfügbare Anbieter gewinnt (die Engine oder npx hyperframes tts "..."):

ReihenfolgeAnbieterErkannt wennWort-Zeitstempel
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginJa, nativ – übergeben Sie --words narration.words.json zum Erfassen
2ElevenLabs$ELEVENLABS_API_KEY gesetztNein – transcribe nachschalten
3Kokoro-82M (lokal, 54 Stimmen)immer (kein Schlüssel erforderlich)Nein – transcribe nachschalten

Die veröffentlichte hyperframes tts CLI ist oft der rein lokale Build (ihr --help sagt "Kokoro-82M", kein --provider/--words) und fällt selbst bei gesetztem $HEYGEN_API_KEY stillschweigend auf Kokoro zurück. Deshalb ist der HeyGen-Pfad der Engine das eigenständige scripts/heygen-tts.mjs (REST), NICHT die CLI; die CLI wird nur für den Kokoro-Pfad verwendet. Siehe references/tts.md.

BGM & SFX – standardmäßig abgerufen aus der HeyGen Audio-Bibliothek (/v3/audio/sounds), mit denselben Anmeldedaten wie HeyGen TTS, mit dem Fallback ohne Anmeldedaten aus dem obigen Schalter:

AssetHeyGen typeLandet inFallback (kein Anmeldedatum)
BGMmusicassets/bgm/track.mp3 (abrufen) · track.wav (generieren)Lyria / MusicGen Generierung
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3gebündelte 21-Dateien-Bibliothek (assets/sfx/* + manifest.json)

Siehe references/bgm.md und references/sfx.md.

Weiterleitungen

AufgabeLesen
Die Audio-Engine – Anfrage/Meta-Schema, --only, der Schalterscripts/audio.mjs (Kopfkommentar)
npx hyperframes tts / heygen-tts.mjs – Anbieter, Stimmen, Wörterreferences/tts.md
Vietnamesisches TTS-Skript – Zeichensetzung, Phonetik (TTS-Ebene)references/tts-vi.md
BGM – HeyGen-Abruf + lokale Lyria / MusicGen Generierungreferences/bgm.md
SFX – HeyGen-Abruf (min_score 0.4) + gebündelte lokale Bibliothekreferences/sfx.md
npx hyperframes transcribe – Whisper, Modellregeln, Ausgabeformreferences/transcribe.md
npx hyperframes remove-background – transparente Ausschnittereferences/remove-background.md
TTS → Transkription → Untertitel (keine aufgezeichnete Sprachaufnahme)references/tts-to-captions.md
Untertitel-Erstellung – Stilerkennung, Layout, Wortgruppierung, Ausstiegreferences/captions/authoring.md
Transkript-Verarbeitung – Eingabeformate, Qualitätsschwellen, Bereinigung, APIsreferences/captions/transcript-handling.md
Untertitel-Bewegung – Karaoke, Markereffekte, audio-reaktivreferences/captions/motion.md
Modell-Caches, Systemabhängigkeiten, Fehlerbehebungreferences/requirements.md

Unverhandelbare Regeln

  • Eine Engine, keine unabhängigen Kopien. Erzeugen Sie Audio über scripts/audio.mjs (oder heygen-tts.mjs für einmalige HeyGen TTS). Implementieren Sie TTS/BGM/SFX nicht in einem Workflow neu – schreiben Sie einen audio_request.json-Adapter und rufen Sie die Engine auf.
  • "HeyGen verfügbar" = ein auflösbares Anmeldedatum, nicht die CLI. Der gesamte Schalter hängt von heygenCredential() ab; die veröffentlichte hyperframes tts kann Kokoro-only sein, und es gibt überhaupt keinen hyperframes bgm / hyperframes sfx Befehl.
  • Stimmen-IDs sind anbieterspezifisch. am_michael ist nur für Kokoro; HeyGen-UUIDs funktionieren nicht mit Kokoro. Wenn Sie --voice übergeben, setzen Sie auch --provider, um eine stille Anbieterdrift bei Änderung der Benutzerumgebung zu vermeiden.
  • Übergeben Sie transcribe immer --model. Der CLI-Standard small.en übersetzt nicht-englische Audiodateien stillschweigend. Siehe references/transcribe.md → "Sprachregel".
  • HeyGen gibt Wort-Zeitstempel zurück; ElevenLabs / Kokoro nicht. Die Engine verknüpft transcribe automatisch für die letzteren beiden; eigenständig übergeben Sie --words an HeyGen oder führen Sie transcribe gegen die Audiodatei aus.
  • Untertitel verwenden das flache Wort-Array-Format mit { id, text, start, end }. Siehe references/transcribe.md → "Ausgabeform".
  • remove-background --background-output erzeugt ein Loch, kein Inpainting. Für "Szene ohne die Person" ist ein anderes Werkzeug erforderlich. Siehe references/remove-background.md → "Wann NICHT das richtige Werkzeug".
  • BGM/SFX verwenden standardmäßig den HeyGen-Abruf; der Fallback ohne Anmeldedaten ist Generierung (BGM) oder die gebündelte Bibliothek (SFX). /audio/sounds sortiert nach einer Textabfrage – benennen Sie Effekte konkret (glass shatter, nicht dramatic sound); ein Nicht-Treffer überspringt, blockiert niemals den Render. SFX liegen bei Lautstärke ~0,35 unter Stimme + BGM. Siehe references/sfx.md / references/bgm.md.

Verwandte Skills