Communitygithub.com

Manavv007/S.A.R.A.L. – Schema-Zugriff-Abruf-Analyse-Schicht

Audio- und Medien-Assets für HyperFrames-Kompositionen, produziert von einer gemeinsamen Audio-Engine („scripts/audio.mjs“) – Multi-Provider TTS (HeyGen / ElevenLabs / Kokoro lokal), Hintergrundmusik + Soundeffekte (HeyGen Audiobibliothek standardmäßig abrufbar, mit lokaler Lyria / MusicGen BGM-Generierung und einer integrierten SFX-Bibliothek als Fallback ohne Anmeldeinformationen), Whisper-Transkription, Hintergrundentfernung und Untertitel-Erstellung. Verwenden Sie dies für Sprachaufnahmen / TTS, BGM, SFX / Soundeffekte, Transkription, Untertitel / Bildunterschriften / Liedtexte / Karaoke / wortweise Formatierung, Sprach- und Anbieterauswahl sowie Musik-Stimmungsaufforderungen.

Was ist S.A.R.A.L. – Schema-Zugriff-Abruf-Analyse-Schicht?

Die **HyperFrames Media**-Fertigkeit ist eine zentrale Audio-Engine für KI-Agenten, die TTS (Text-to-Speech), BGM (Hintergrundmusik), SFX (Soundeffekte), Transkription und Untertitelung in einem einheitlichen Workflow vereint. Sie ist als Skill für Claude Code, Cursor, Codex und andere KI-Entwicklungsumgebungen optimiert. Die Engine `scripts/audio.mjs` verarbeitet eine standardisierte JSON-Anfrage (`audio_request.json`) und erzeugt eine Metadaten-Datei (`audio_meta.json`) zusammen mit den eigentlichen Audio-Dateien. Der besondere Clou: Sie wählt automatisch den besten verfügbaren Anbieter aus. Für TTS steht eine Kette von HeyGen (bevorzugt) über ElevenLabs bis hin zum lokalen Kokoro-82M-Modell zur Verfügung. BGM und SFX werden bevorzugt aus der HeyGen-Audiobibliothek abgerufen, fallen aber bei fehlenden Anmeldeinformationen auf lokale Generierung (Lyria/MusicGen) oder eine gebündelte SFX-Bibliothek zurück – ganz ohne dass der Benutzer eingreifen muss. Vor der Generierung führt der Skill eine obligatorische Authentifizierungsprüfung durch (`npx hyperframes auth status`), die den Benutzer auffordert, sich anzumelden oder offline weiterzumachen. Dies verhindert unbeabsichtigte Fallbacks auf lokale Engines. Zu den weiteren Funktionen gehören Whisper-Transkription mit Sprachmodell-Auswahl, Hintergrundentfernung mit Lochschnitt (hole-cut) und ein umfangreiches Untertitel-Authoring-System, das Karaoke-Effekte und Audio-Reaktivität unterstützt. Der Skill erzwingt strenge Regeln: keine nachgebauten Anbieter-Instanzen, anbieterspezifische Stimm-IDs und die obligatorische Angabe des `--model`-Parameters bei der Transkription, um eine stille Übersetzung nicht-englischer Audiodateien zu vermeiden.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-/tree/HEAD/data/skills/hyperframes-media

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

HyperFrames Media

Erstellen Sie die Audio- und Medien-Assets, die eine Komposition benötigt – Sprachaufnahmen (TTS), Hintergrundmusik + Soundeffekte, Transkription, Untertitel, Hintergrundentfernung – und konsumieren und animieren Sie diese Daten dann in HTML. Zum Platzieren von Assets in Kompositionen siehe hyperframes-core.

Die Audio-Engine – eine Quelle für TTS · BGM · SFX

Workflows erstellen Audio NICHT manuell oder kopieren einen Anbieter. Es gibt eine Engine – scripts/audio.mjs – die eine neutrale audio_request.json entgegennimmt und audio_meta.json (sowie Assets unter assets/voice|bgm|sfx) schreibt:

# <MEDIA_DIR> = Verzeichnis dieser Fertigkeit
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Alle drei Fähigkeiten degradieren basierend auf EINEM Schalter – ob eine HeyGen-Anmeldeinformation vorhanden ist (aufgelöst aus $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, nicht der CLI):

FähigkeitHeyGen-Anmeldeinformation vorhandennicht vorhanden
TTSHeyGen Starfish REST (native Wort-Zeitstempel)→ ElevenLabs → Kokoro (Kette transcribe für Wörter)
BGMHeyGen Musik-AbrufLyria → MusicGen lokale Generierung (getrennt)
SFXHeyGen Soundeffekt-Abruf (min_score 0.4)gebündelte 21-Dateien-Bibliothek (assets/sfx/)
  • Anfrage (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id verbindet jede Zeile zurück zum Modell des Aufrufers (eine Frame-Nummer, eine Szenen-ID, …). bgm.mode = retrieve | generate | none; weglassen für Auto (abrufen, wenn Anmeldeinformation vorhanden, sonst generieren). Ein expliziter retrieve ist streng – er überspringt, anstatt eine getrennte Generierung zu starten (für Aufrufer ohne wait-bgm-Schritt).
  • Ausgabe (audio_meta.json, nach ID indiziert): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx führt eine Teilmenge aus und führt sie in ein bestehendes --out zusammen (z. B. TTS+BGM frühzeitig, SFX sobald Cues existieren).
  • Die BGM-Generierung wird getrennt gestartet (bgm_pending: true) – führen Sie vor der Zusammenstellung scripts/wait-bgm.mjs aus.
  • scripts/heygen-tts.mjs ist eine Einzel-CLI über denselben Code (ein Text → wav + Wörter) für den Fall, dass Sie nur HeyGen TTS ohne eine Anfragedatei benötigen.

Die vollständige Flag-Liste sowie das audio_meta.json-Schema befinden sich im Kopf von scripts/audio.mjs. Die folgenden Referenzen decken die Anbieterdetails und Randfälle hinter jeder Fähigkeit ab.

Preflight – Anmeldestatus anzeigen, bevor Audio generiert wird

Führen Sie dies IMMER aus, bevor Sie Sprache oder BGM generieren – innerhalb eines vollständigen Workflows ODER einer einmaligen „Generiere mir einen BGM/Sprachaufnahme“-Anfrage. Keine HeyGen-Anmeldeinformation zu haben, ist kein Grund, stillschweigend auf lokale Engines zurückzufallen: Empfehlen Sie zuerst die Anmeldung und lassen Sie den Benutzer entscheiden. Führen Sie den gemeinsamen Preflight aus und geben Sie seine Ausgabe wörtlich weiter – improvisieren Sie keine eigene „Fehlender Schlüssel“-Eingabeaufforderung und bieten Sie nicht an, Schlüssel in eine pro-Repo .env zu schreiben:

npx hyperframes auth status
  • Angemeldet → es gibt das Konto aus; fahren Sie fort.
  • Nicht angemeldet (exit 1 ist hier erwartet – „nicht angemeldet“ ist ein normaler Zustand, kein Fehler) → es gibt eine anmeldungsorientierte Anleitung aus. Empfehlen Sie die Anmeldung: npx hyperframes auth login ist Browser-OAuth – es meldet an und erstellt ein Konto (immer über die CLI dieses Repos verfügbar). Um einen vorhandenen HeyGen-API-Schlüssel (von app.heygen.com/settings/api) zu verwenden, führen Sie npx hyperframes auth login --api-key aus – es speichert in der gemeinsamen ~/.heygen (keine pro-Repo .env). Die Ausgabe listet auch die lokalen Engines auf, auf die Sprache/BGM zurückfallen, sowie einen pip-Hinweis, wenn Abhängigkeiten fehlen. Geben Sie diese Ausgabe so weiter, wie sie ist – paraphrasieren Sie sie nicht in Ihren eigenen Worten. Dann STOPPEN Sie und warten Sie, bis der Benutzer wählt – anmelden oder „go“ / „local“ sagen, um offline fortzufahren – bevor Sie etwas generieren. Dies ist ein echter Entscheidungspunkt, keine beiläufige Notiz: Falten Sie es nicht in eine andere Frage und fahren Sie nicht eigenständig darüber hinaus. (Ausnahme: Im autonomen / nicht-interaktiven Modus notieren Sie den Status und fahren offline fort.)
  • npx hyperframes auth status --json gibt { configured, recommended_action, offline_engines } für deterministische Verzweigungen zurück.
  • Wenn die CLI nicht ausgeführt werden kann (nicht im PATH und npx kann sie nicht abrufen) → empfehlen Sie trotzdem die Anmeldung (npx hyperframes auth login) und STOPPEN Sie für die Wahl des Benutzers – behandeln Sie „keine Anmeldeinformation“ NICHT als stillschweigendes grünes Licht für lokale Generierung.

Die Auflösung der Anmeldeinformationen, die vollständige Schlüsselpriorität und die Liste der lokalen Abhängigkeiten finden Sie in references/requirements.md.

Anbieterketten (das Detail hinter der Engine)

TTS – der erste verfügbare Anbieter gewinnt (die Engine oder npx hyperframes tts "..."):

ReihenfolgeAnbieterErkannt wennWort-Zeitstempel
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginJa, nativ – übergeben Sie --words narration.words.json, um sie zu erfassen
2ElevenLabs$ELEVENLABS_API_KEY gesetztNein – transcribe nach der Generierung verketten
3Kokoro-82M (lokal, 54 Stimmen)immer (kein Schlüssel erforderlich)Nein – transcribe nach der Generierung verketten

Die veröffentlichte hyperframes tts CLI ist oft der nur-lokale Build (ihre --help zeigt „Kokoro-82M“, kein --provider/--words) und fällt stillschweigend auf Kokoro zurück, selbst wenn $HEYGEN_API_KEY gesetzt ist. Deshalb ist der HeyGen-Pfad der Engine das eigenständige scripts/heygen-tts.mjs (REST), NICHT die CLI; die CLI wird nur für den Kokoro-Pfad verwendet. Siehe references/tts.md.

BGM & SFX – standardmäßig abgerufen aus der HeyGen-Audiobibliothek (/v3/audio/sounds), gleiche Anmeldeinformation wie HeyGen TTS, mit dem Fallback ohne Anmeldeinformationen aus der obigen Tabelle:

AssetHeyGen typeLandet inFallback (keine Anmeldeinformation)
BGMmusicassets/bgm/track.mp3 (abrufen) · track.wav (generieren)Lyria / MusicGen Generierung
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3gebündelte 21-Dateien-Bibliothek (assets/sfx/* + manifest.json)

Siehe references/bgm.md und references/sfx.md.

Navigation

AufgabeLesen
Die Audio-Engine – Anfrage-/Metadaten-Schema, --only, der Schalterscripts/audio.mjs (Kopfkommentar)
npx hyperframes tts / heygen-tts.mjs – Anbieter, Stimmen, Wörterreferences/tts.md
BGM – HeyGen-Abruf + lokale Lyria / MusicGen Generierungreferences/bgm.md
SFX – HeyGen-Abruf (min_score 0.4) + gebündelte lokale Bibliothekreferences/sfx.md
npx hyperframes transcribe – Whisper, Modellregeln, Ausgabeformatreferences/transcribe.md
npx hyperframes remove-background – transparente Ausschnittereferences/remove-background.md
TTS → Transkription → Untertitel (keine aufgezeichnete Sprachaufnahme)references/tts-to-captions.md
Untertitel-Erstellung – Stilerkennung, Layout, Wortgruppierung, Endereferences/captions/authoring.md
Transkript-Handhabung – Eingabeformate, Qualitätsschwellen, Bereinigung, APIsreferences/captions/transcript-handling.md
Untertitel-Bewegung – Karaoke, Markereffekte, audio-reaktivreferences/captions/motion.md
Modell-Caches, Systemabhängigkeiten, Fehlerbehebungreferences/requirements.md

Nicht verhandelbare Regeln

  • Eine Engine, keine nachgebauten Kopien. Produzieren Sie Audio über scripts/audio.mjs (oder heygen-tts.mjs für einmalige HeyGen TTS). Implementieren Sie TTS/BGM/SFX nicht innerhalb eines Workflows neu – schreiben Sie einen audio_request.json-Adapter und rufen Sie die Engine auf.
  • „HeyGen verfügbar“ = eine auflösbare Anmeldeinformation, nicht die CLI. Der gesamte Schalter hängt an heygenCredential(); die veröffentlichte hyperframes tts kann Kokoro-only sein, und es gibt keinen hyperframes bgm / hyperframes sfx Befehl.
  • Stimm-IDs sind anbieterspezifisch. am_michael ist Kokoro-only; HeyGen-UUIDs funktionieren nicht auf Kokoro. Wenn Sie --voice übergeben, fixieren Sie auch --provider, um eine stille Anbieterdrift zu vermeiden, wenn sich die Umgebung des Benutzers ändert.
  • Übergeben Sie immer --model an transcribe. Der CLI-Standard small.en übersetzt stillschweigend nicht-englisches Audio. Siehe references/transcribe.md → „Sprachregel".
  • HeyGen gibt Wort-Zeitstempel zurück; ElevenLabs / Kokoro nicht. Die Engine verknüpft transcribe automatisch für die letzten beiden; eigenständig übergeben Sie --words an HeyGen oder führen Sie transcribe gegen die Audiodatei aus.
  • Untertitel konsumieren das flache Wort-Array-Format mit { id, text, start, end }. Siehe references/transcribe.md → „Ausgabeformat".
  • remove-background --background-output ist Lochschnitt, nicht Inpainting. Für „Szene ohne die Person" ist ein anderes Werkzeug erforderlich. Siehe references/remove-background.md → „Wann NICHT das richtige Werkzeug".
  • BGM/SFX standardmäßig HeyGen-Abruf; der Fallback ohne Anmeldeinformation ist Generierung (BGM) oder die gebündelte Bibliothek (SFX). /audio/sounds sortiert nach einer Textabfrage – benennen Sie Effekte konkret (glass shatter, nicht dramatic sound); ein Nicht-Treffer überspringt, blockiert niemals das Rendering. SFX befinden sich bei Lautstärke ~0,35 unter Sprache + BGM. Siehe references/sfx.md / references/bgm.md.
  • Behandeln Sie Workflow-Untertitel-HTML als generierte Ausgabe. Bei videobasierten Vorab-Videos lebt die wiederverwendbare Skin-Quelle unter .hyperframes/caption-skin.html und das Workflow-Skript schreibt compositions/captions.html; bearbeiten Sie nicht die generierte compositions/captions.html, um die Skin zu reparieren. Erstellen Sie sie über den captions.mjs-Workflow neu oder verwenden Sie den expliziten Überschreibungsmechanismus dieses Workflows, sofern vorhanden.

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

S.A.R.A.L. is an advanced AI-powered platform designed to bridge the "information gap" between rural Indian citizens and government welfare. While thousands of schemes exist, the complex language of official PDFs often makes them inaccessible to the common man.

Verwandte Skills