Communitygithub.com

1345AbhishekKumar/starter-nextjs

Audio- und Medien-Assets für HyperFrames-Kompositionen, bereitgestellt von einer gemeinsamen Audio-Engine (`scripts/audio.mjs`) — Multi-Provider TTS (HeyGen / ElevenLabs / Kokoro lokal), Hintergrundmusik + Soundeffekte (HeyGen-Audiobibliothek standardmäßig, mit lokaler Lyria / MusicGen BGM-Erzeugung und einer gebündelten SFX-Bibliothek als Fallback ohne Anmeldedaten), Whisper-Transkription, Hintergrundentfernung und Untertitel-Erstellung. Nutzbar für Sprachaufnahmen / TTS, BGM, SFX / Soundeffekte, Transkription, Untertitel / Bildunterschriften / Songtexte / Karaoke / wortgenaue Formatierung, Sprach- und Providerauswahl sowie Musik-Stimmungs-Prompts.

Was ist starter-nextjs?

HyperFrames Media ist eine vielseitige Fähigkeit für KI-Agenten, die die Erstellung und Verwaltung von Audio- und Medieninhalten für HyperFrames-Kompositionen ermöglicht. Sie basiert auf einer zentralen Audio-Engine (`scripts/audio.mjs`), die Text-to-Speech (TTS), Hintergrundmusik (BGM) und Soundeffekte (SFX) über einen einheitlichen Request-Mechanismus verarbeitet. Die Engine unterstützt mehrere TTS-Provider (HeyGen, ElevenLabs, Kokoro lokal) und schaltet je nach Vorhandensein von HeyGen-Anmeldedaten automatisch zwischen Cloud-API und lokalen Fallbacks um. Sie ist ideal für Entwickler und KI-Agenten, die vollständige Audiospuren für Videos, Präsentationen oder interaktive Erlebnisse erzeugen möchten, ohne sich in die Details der einzelnen Provider einarbeiten zu müssen. Die Fähigkeit umfasst auch Transkription mit Whisper, Hintergrundentfernung und eine ausgefeilte Untertitel-Erstellung mit Karaoke- und Wortgruppeneffekten. Ein wichtiges Merkmal ist der Preflight-Check zur Überprüfung des Anmeldestatus, der sicherstellt, dass der Benutzer vor der Audiogenerierung eine bewusste Entscheidung über den Einsatz von Cloud-Diensten oder lokalen Engines trifft. Die Fähigkeit ist für die plattformübergreifende Nutzung mit Claude Code, Cursor, Codex und anderen KI-Assistenten konzipiert.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1345AbhishekKumar/starter-nextjs/tree/HEAD/.agents/skills/hyperframes-media

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

HyperFrames Medien

Erstelle die Audio- und Medien-Assets, die eine Komposition benötigt — Sprachaufnahmen (TTS), Hintergrundmusik + Soundeffekte, Transkription, Untertitel, Hintergrundentfernung — und konsumiere und animiere diese Daten dann in HTML. Zum Platzieren von Assets in Kompositionen siehe hyperframes-core.

Die Audio-Engine — eine Quelle für TTS · BGM · SFX

Workflows erstellen Audio NICHT von Hand oder lagern eine Kopie aus. Es gibt eine Engine — scripts/audio.mjs — die eine neutrale audio_request.json entgegennimmt und audio_meta.json (plus Assets unter assets/voice|bgm|sfx) schreibt:

# <MEDIA_DIR> = Verzeichnis dieser Fähigkeit
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Alle drei Fähigkeiten hängen von EINEM Schalter ab — ob ein HeyGen-Anmeldedatensatz vorhanden ist (aufgelöst aus $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, nicht die CLI):

FähigkeitHeyGen-Anmeldedaten vorhandennicht vorhanden
TTSHeyGen Starfish REST (native Wort-Zeitstempel)→ ElevenLabs → Kokoro (Kette transcribe für Wörter)
BGMHeyGen Musik-AbrufLyria → MusicGen lokale Generierung (abgetrennt)
SFXHeyGen Soundeffekt-Abruf (min_score 0.4)gebündelte 21-Dateien-Bibliothek (assets/sfx/)
  • Anfrage (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [Namen] }], bgm: { mode?, query?, prompt? } }. Das id verbindet jede Zeile zurück zum aufrufenden Modell (eine Frame-Nummer, eine Szenen-ID, …). bgm.mode = retrieve | generate | none; weglassen für automatisch (abrufen bei Anmeldedaten, sonst generieren). Ein explizites retrieve ist streng — es überspringt, anstatt eine abgetrennte Generierung zu starten (für Aufrufer ohne wait-bgm-Schritt).
  • Ausgabe (audio_meta.json, ID-basiert): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx führt eine Teilmenge aus und führt sie zusammen mit einem vorhandenen --out (z. B. TTS+BGM früh, SFX sobald Cues existieren).
  • BGM-Generierung wird abgetrennt gestartet (bgm_pending: true) — führe scripts/wait-bgm.mjs vor dem Zusammenbau aus.
  • scripts/heygen-tts.mjs ist ein einmaliger CLI-Aufruf desselben Codes (ein Text → wav + Wörter) für den Fall, dass du HeyGen TTS ohne eine Anfragedatei benötigst.

Die vollständige Flag-Liste und das audio_meta.json-Schema befinden sich im Header von scripts/audio.mjs. Die folgenden Referenzen decken die Provider-Details und Randfälle hinter jeder Fähigkeit ab.

Vorabprüfung — Anmeldestatus vor jeglichem Audio anzeigen

Führe dies IMMER aus, bevor du Sprache oder BGM generierst — innerhalb eines vollständigen Workflows oder einer einmaligen „Generiere mir ein BGM/eine Sprachaufnahme“-Anfrage. Kein HeyGen-Anmeldedatensatz ist kein Grund, stillschweigend auf lokale Engines zurückzufallen: Empfehle zuerst die Anmeldung und lass den Benutzer entscheiden. Führe die gemeinsame Vorabprüfung aus und gib ihre Ausgabe wortwörtlich weiter — improvisiere keine eigene „fehlender Schlüssel“-Eingabeaufforderung und biete nicht an, Schlüssel in eine repo-spezifische .env zu schreiben:

npx hyperframes auth status
  • Angemeldet → es gibt das Konto aus; fortfahren.
  • Nicht angemeldet (exit 1 ist hier zu erwarten — „nicht angemeldet“ ist ein normaler Zustand, kein Fehler) → es gibt eine anmeldungsorientierte Anleitung aus. Empfehle die Anmeldung: npx hyperframes auth login ist Browser-OAuth — es meldet an und erstellt ein Konto (immer über die CLI dieses Repos verfügbar). Um einen vorhandenen HeyGen-API-Schlüssel (von app.heygen.com/settings/api) zu verwenden, führe npx hyperframes auth login --api-key aus — es speichert im gemeinsamen ~/.heygen (kein repo-spezifisches .env). Die Ausgabe listet auch die lokalen Engines auf, auf die Sprache/BGM zurückfallen, sowie einen pip-Hinweis, wenn Abhängigkeiten fehlen. Gib diese Ausgabe unverändert weiter — paraphrasiere sie nicht in deine eigenen Worte. Dann HALT und warte auf die Entscheidung des Benutzers — anmelden oder „los“ / „lokal“ sagen, um offline fortzufahren — bevor du etwas generierst. Dies ist ein echter Entscheidungspunkt, kein beiläufiger Hinweis: baue es nicht in eine andere Frage ein und fahre nicht von alleine darüber hinaus. (Ausnahme: im autonomen / nicht-interaktiven Modus notiere den Status und fahre offline fort.)
  • npx hyperframes auth status --json gibt { configured, recommended_action, offline_engines } für deterministische Verzweigungen zurück.
  • Wenn die CLI nicht ausgeführt werden kann (nicht im PATH und npx kann sie nicht abrufen) → empfehle trotzdem die Anmeldung (npx hyperframes auth login) und HALT für die Wahl des Benutzers — behandle „kein Anmeldedatensatz“ nicht als stillschweigendes grünes Licht für lokale Generierung.

Die Auflösung von Anmeldedaten, die vollständige Schlüsselpriorität und die Liste der lokalen Abhängigkeiten findest du in references/requirements.md.

Provider-Ketten (die Details hinter der Engine)

TTS — der erste verfügbare Provider gewinnt (die Engine oder npx hyperframes tts "…"):

ReihenfolgeProviderErkannt wennWort-Zeitstempel
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginJa, nativ — übergib --words narration.words.json zum Erfassen
2ElevenLabs$ELEVENLABS_API_KEY gesetztNein — Kette transcribe danach
3Kokoro-82M (lokal, 54 Stimmen)immer (kein Schlüssel erforderlich)Nein — Kette transcribe danach

Die veröffentlichte hyperframes tts CLI ist oft der nur-lokale Build (ihre --help sagt „Kokoro-82M“, kein --provider/--words) und fällt stillschweigend auf Kokoro zurück, selbst wenn $HEYGEN_API_KEY gesetzt ist. Deshalb ist der HeyGen-Pfad der Engine das eigenständige scripts/heygen-tts.mjs (REST), NICHT die CLI; die CLI wird nur für den Kokoro-Pfad verwendet. Siehe references/tts.md.

BGM & SFX — standardmäßig abgerufen aus der HeyGen-Audiobibliothek (/v3/audio/sounds), gleicher Anmeldedatensatz wie HeyGen TTS, mit dem Fallback ohne Anmeldedaten vom obigen Schalter:

AssetHeyGen typeLandet inFallback (keine Anmeldedaten)
BGMmusicassets/bgm/track.mp3 (Abruf) · track.wav (Generierung)Lyria / MusicGen Generierung
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3gebündelte 21-Dateien-Bibliothek (assets/sfx/* + manifest.json)

Siehe references/bgm.md und references/sfx.md.

Weiterleitung

AufgabeLese
Die Audio-Engine — Anfrage/Meta-Schema, --only, der Schalterscripts/audio.mjs (Header-Kommentar)
npx hyperframes tts / heygen-tts.mjs — Provider, Stimmen, Wörterreferences/tts.md
BGM — HeyGen-Abruf + lokale Lyria / MusicGen-Generierungreferences/bgm.md
SFX — HeyGen-Abruf (min_score 0.4) + gebündelte lokale Bibliothekreferences/sfx.md
npx hyperframes transcribe — Whisper, Modellregeln, Ausgabeformatreferences/transcribe.md
npx hyperframes remove-background — transparente Ausschnittereferences/remove-background.md
TTS → Transkription → Untertitel (keine aufgenommene Sprachaufnahme)references/tts-to-captions.md
Untertitel-Erstellung — Stilerkennung, Layout, Wortgruppierung, Ausstiegreferences/captions/authoring.md
Transkript-Handhabung — Eingabeformate, Qualitätsschwellen, Bereinigung, APIsreferences/captions/transcript-handling.md
Untertitel-Bewegung — Karaoke, Marker-Effekte, audio-reaktivreferences/captions/motion.md
Modell-Caches, Systemabhängigkeiten, Fehlerbehebungreferences/requirements.md

Unverhandelbare Regeln

  • Eine Engine, keine ausgelagerten Kopien. Produziere Audio über scripts/audio.mjs (oder heygen-tts.mjs für einmaliges HeyGen TTS). Implementiere TTS/BGM/SFX nicht innerhalb eines Workflows neu — schreibe einen audio_request.json-Adapter und rufe die Engine auf.
  • „HeyGen verfügbar“ = ein auflösbarer Anmeldedatensatz, nicht die CLI. Der gesamte Schalter hängt von heygenCredential() ab; die veröffentlichte hyperframes tts könnte Kokoro-only sein, und es gibt gar keinen hyperframes bgm / hyperframes sfx Befehl.
  • Stimmen-IDs sind provider-spezifisch. am_michael ist Kokoro-only; HeyGen-UUIDs funktionieren nicht auf Kokoro. Wenn du --voice übergibst, setze auch --provider fest, um eine stille Provider-Verschiebung zu vermeiden, wenn sich die Umgebung des Benutzers ändert.
  • Übergib immer --model an transcribe. Die CLI-Voreinstellung small.en übersetzt stillschweigend nicht-englisches Audio. Siehe references/transcribe.md → „Sprachregel“.
  • HeyGen gibt Wort-Zeitstempel zurück; ElevenLabs / Kokoro nicht. Die Engine verknüpft transcribe automatisch für die letzten beiden; eigenständig übergib --words an HeyGen oder führe transcribe gegen die Audiodatei aus.
  • Untertitel konsumieren das flache Wort-Array-Format mit { id, text, start, end }. Siehe references/transcribe.md → „Ausgabeformat“.
  • remove-background --background-output ist Lochschnitt, nicht Inpainting. Für „Szene ohne die Person“ ist ein anderes Werkzeug erforderlich. Siehe references/remove-background.md → „Wann NICHT das richtige Werkzeug“.
  • BGM/SFX standardmäßig HeyGen-Abruf; der Fallback ohne Anmeldedaten ist Generierung (BGM) oder die gebündelte Bibliothek (SFX). /audio/sounds ordnet nach einer Textabfrage — benenne Effekte konkret (glass shatter, nicht dramatic sound); eine fehlende Übereinstimmung überspringt, blockiert nie den Render. SFX haben eine Lautstärke von ~0,35 unter Stimme + BGM. Siehe references/sfx.md / references/bgm.md.
  • Behandle Workflow-Untertitel-HTML als generierte Ausgabe. Für vorlagenbasierte Videos lebt die wiederverwendbare Skin-Quelle unter .hyperframes/caption-skin.html und das Workflow-Skript schreibt compositions/captions.html; bearbeite nicht das generierte compositions/captions.html, um die Skin zu korrigieren. Baue über den captions.mjs des Workflows neu auf oder verwende den expliziten Überschreibungsmechanismus des Workflows, falls vorhanden.

Individual skills in this repo

This repo contains 13 individual skills — each has its own dedicated page.

1345AbhishekKumar/starter-nextjs

Add captions to a talking-head video. ONE catalog (CATALOG.md) of 32 visual identities behind two engines: column-flow (captions composited INTO the scene — matte occlusion + mix-blend; cream/ink/editorial/keynote/documentary/loud/neon/glitch/chrome/velocity) and themed constitutions (anchor/ordnance/terminal/neonsign/stardust/stomp/scoreboard/transit/vhs/arcade/dossier/laser/thunder/hologram/biolume/aurora/spectrum/papercut/popup/chalkboard/graffiti/brush/inkwater/ransom/lastpage/nightcity — e.g. a glyph-decode climax, a neon sign WRITTEN stroke by stroke, or the quiet `anchor` rail default). Route by identity, never by mode. Trigger on "captions/subtitles", "embed/cinematic captions", "VFX captions", "炸/特效/酷炫字幕", a named identity, or top-tier motion-graphics asks. Embedding every word is wrong for most talking-head content — `anchor` is the verbatim default. Pipeline: transcription → hyperframes remove-background matting → HTML render → ffmpeg overlay. Requires hyperframes and a single-subject clip.

1345AbhishekKumar/starter-nextjs

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

1345AbhishekKumar/starter-nextjs

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

1345AbhishekKumar/starter-nextjs

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

1345AbhishekKumar/starter-nextjs

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1345AbhishekKumar/starter-nextjs

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1345AbhishekKumar/starter-nextjs

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1345AbhishekKumar/starter-nextjs

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

1345AbhishekKumar/starter-nextjs

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

1345AbhishekKumar/starter-nextjs

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

1345AbhishekKumar/starter-nextjs

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /website-to-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

1345AbhishekKumar/starter-nextjs

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

1345AbhishekKumar/starter-nextjs

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Verwandte Skills