Communitygithub.com

9018/mychat

Erstellt Audio- und Medien-Assets für HyperFrames-Kompositionen – TTS, Hintergrundmusik, Soundeffekte, Transkription, Hintergrundentfernung und Untertitel – gesteuert durch eine gemeinsame Audio-Engine (`scripts/audio.mjs`).

Was ist mychat?

Der Skill **HyperFrames Media** stellt eine zentrale Audio-Engine (`scripts/audio.mjs`) bereit, die für HyperFrames-Kompositionen alle benötigten Audio- und Medien-Assets erzeugt: Sprachausgabe (TTS), Hintergrundmusik (BGM) und Soundeffekte (SFX) – ergänzt durch Whisper-Transkription, Hintergrundentfernung und Untertitel-Erstellung. Die Engine ist intelligent und wählt je nach verfügbaren Anmeldeinformationen automatisch den besten Anbieter aus: Für TTS werden HeyGen (mit nativen Wort-Zeitstempeln), ElevenLabs oder das lokale Kokoro-82M genutzt. BGM und SFX werden standardmäßig aus der HeyGen-Audiobibliothek abgerufen, fallen aber ohne Anmeldedaten auf lokale Generierung (Lyria/MusicGen für BGM) bzw. eine eingebettete 21-Dateien-SFX-Bibliothek zurück. Der Skill garantiert, dass Workflows nicht eigene Audio-Implementierungen schreiben, sondern stets die zentrale Engine über eine neutrale `audio_request.json` steuern. Die Ausgabe (`audio_meta.json`) enthält detaillierte Metadaten inklusive Wort-Zeitstempeln, Sprach-ID, BGM-Status und allen Assets. **Unterstützte Plattformen:** HyperFrames-Workflows (z. B. für Claude Code, Cursor, Codex). **Besonderheiten:** - Vor jeder Generierung wird der Anmeldestatus geprüft (`npx hyperframes auth status`) und der Benutzer gefragt, ob er sich anmelden oder lokal fortfahren möchte. - Für HeyGen-Sprachausgabe gibt es ein eigenes Single-Shot-Skript (`scripts/heygen-tts.mjs`). - Die Engine unterstützt Teilausführungen (`--only tts,bgm,sfx`) und führt bei erneuten Aufrufen eine Zusammenführung durch. - Hintergrundmusik-Generierung läuft asynchron (`bgm_pending: true`) und muss vor der finalen Zusammenstellung mit `scripts/wait-bgm.mjs` abgeschlossen werden. Insgesamt ermöglicht der Skill eine flexible, providerübergreifende Audio-Produktion mit nahtlosem Fallback – ideal für Voiceover, BGM, Soundeffekte, Transkription, Untertitel, Karaoke und wortgenaue Styling-Optionen.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/9018/mychat/tree/HEAD/OpenMontage/.agents/skills/hyperframes-media

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

HyperFrames Media

Erstellen Sie die Audio- und Medien-Assets, die eine Komposition benötigt – Sprachausgabe (TTS), Hintergrundmusik + Soundeffekte, Transkription, Untertitel, Hintergrundentfernung – und nutzen Sie diese Daten dann in HTML. Informationen zum Platzieren von Assets in Kompositionen finden Sie unter hyperframes-core.

Die Audio-Engine – eine Quelle für TTS · BGM · SFX

Workflows erstellen Audio NICHT manuell oder mit einer eigenen Kopie. Es gibt eine Engine – scripts/audio.mjs – die eine neutrale audio_request.json entgegennimmt und audio_meta.json (plus Assets unter assets/voice|bgm|sfx) schreibt:

# <MEDIA_DIR> = Verzeichnis dieses Skills
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Alle drei Fähigkeiten degradieren über EINEN Schalter – ob ein HeyGen-Zugangsdaten vorliegen (ermittelt aus $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, nicht über die CLI):

FähigkeitHeyGen-Zugangsdaten vorhandennicht vorhanden
TTSHeyGen Starfish REST (native Wort-Zeitstempel)→ ElevenLabs → Kokoro (Kette transcribe für Wörter)
BGMHeyGen Musik-AbrufLyria → MusicGen lokale Generierung (getrennt)
SFXHeyGen Soundeffekt-Abruf (min_score 0.4)eingebundene 21-Dateien-Bibliothek (assets/sfx/)
  • Anfrage (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id verbindet jede Zeile mit dem Modell des Aufrufers (eine Frame-Nummer, eine Szenen-ID, …). bgm.mode = retrieve | generate | none; weglassen für automatisch (abrufen bei Zugangsdaten, sonst generieren). Ein expliziter retrieve ist strikt – er überspringt statt eine getrennte Generierung zu starten (für Aufrufer ohne wait-bgm-Schritt).
  • Ausgabe (audio_meta.json, ID-basiert): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx führt eine Teilmenge aus und führt mit einem vorhandenen --out zusammen (z. B. TTS+BGM früh, SFX sobald Cues existieren).
  • BGM-Generierung wird getrennt gestartet (bgm_pending: true) – führen Sie scripts/wait-bgm.mjs vor der Zusammenstellung aus.
  • scripts/heygen-tts.mjs ist eine einmalige CLI über denselben Code (ein Text → wav + Wörter) für den Fall, dass Sie nur HeyGen TTS ohne eine Anfragedatei benötigen.

Die vollständige Flag-Liste + das audio_meta.json-Schema befinden sich im Header von scripts/audio.mjs. Die folgenden Referenzen decken die Anbieterdetails und Randfälle hinter jeder Fähigkeit ab.

Vorab-Check – Anmeldestatus vor jeglichem Audio anzeigen

Führen Sie dies immer vor der Sprach- oder BGM-Generierung aus – innerhalb eines vollständigen Workflows oder einer einmaligen „Generiere mir BGM/Sprachausgabe“-Anfrage. Keine HeyGen-Zugangsdaten zu haben ist kein Grund, stillschweigend auf lokale Engines zurückzufallen: Empfehlen Sie zunächst die Anmeldung und lassen Sie den Benutzer entscheiden. Führen Sie den gemeinsamen Vorab-Check aus und geben Sie dessen Ausgabe wörtlich weiter – improvisieren Sie keine eigene „Fehlender Schlüssel“-Eingabeaufforderung und bieten Sie nicht an, Schlüssel in eine pro-Repo .env zu schreiben:

npx hyperframes auth status
  • Angemeldet → es gibt das Konto aus; fortfahren.
  • Nicht angemeldet (exit 1 ist hier zu erwarten – „nicht angemeldet“ ist ein normaler Zustand, kein Fehler) → es gibt eine Registrierungs-basierte Anleitung aus. Empfehlen Sie die Anmeldung: npx hyperframes auth login ist Browser-OAuth – es meldet an und erstellt ein Konto (immer über die CLI dieses Repos verfügbar). Um einen vorhandenen HeyGen API-Key (von app.heygen.com/settings/api) zu verwenden, führen Sie npx hyperframes auth login --api-key aus – es speichert in das gemeinsame ~/.heygen (keine pro-Repo .env). Die Ausgabe listet auch die lokalen Engines auf, auf die Sprachausgabe/BGM zurückfallen, sowie einen pip-Hinweis, wenn Abhängigkeiten fehlen. Geben Sie diese Ausgabe unverändert weiter – paraphrasieren Sie sie nicht in eigene Worte. Dann STOPPEN Sie und warten Sie, bis der Benutzer wählt – anmelden oder „los“ / „lokal“ sagen, um offline fortzufahren – bevor Sie etwas generieren. Dies ist ein echter Entscheidungspunkt, keine beiläufige Notiz: Falten Sie es nicht in eine andere Frage und fahren Sie nicht eigenständig darüber hinaus. (Ausnahme: Im autonomen / nicht-interaktiven Modus notieren Sie den Status und fahren offline fort.)
  • npx hyperframes auth status --json gibt { configured, recommended_action, offline_engines } für deterministische Verzweigungen zurück.
  • Wenn die CLI nicht ausgeführt werden kann (nicht im PATH und npx kann sie nicht abrufen) → empfehlen Sie trotzdem die Anmeldung (npx hyperframes auth login) und STOPPEN für die Entscheidung des Benutzers – behandeln Sie „keine Zugangsdaten“ nicht als stillschweigendes grünes Licht für die lokale Generierung.

Die Zugangsdatenauflösung, vollständige Schlüsselpriorität und die Liste der lokalen Abhängigkeiten finden Sie in references/requirements.md.

Anbieterketten (die Details hinter der Engine)

TTS – der erste verfügbare Anbieter gewinnt (die Engine oder npx hyperframes tts "..."):

ReihenfolgeAnbieterErkannt wennWort-Zeitstempel
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginJa, nativ – übergeben Sie --words narration.words.json zum Erfassen
2ElevenLabs$ELEVENLABS_API_KEY gesetztNein – danach transcribe-Kette
3Kokoro-82M (lokal, 54 Stimmen)immer (kein Schlüssel erforderlich)Nein – danach transcribe-Kette

Die veröffentlichte hyperframes tts CLI ist oft der Nur-Lokal-Build (ihr --help sagt „Kokoro-82M“, kein --provider/--words) und fällt selbst mit gesetztem $HEYGEN_API_KEY stillschweigend auf Kokoro zurück. Deshalb ist der HeyGen-Pfad der Engine das eigenständige scripts/heygen-tts.mjs (REST), NICHT die CLI; die CLI wird nur für den Kokoro-Pfad verwendet. Siehe references/tts.md.

BGM & SFX – standardmäßig aus der HeyGen-Audiobibliothek abgerufen (/v3/audio/sounds), gleiche Zugangsdaten wie HeyGen TTS, mit dem Rückfall ohne Zugangsdaten aus der obigen Tabelle:

AssetHeyGen typeLandet inRückfall (keine Zugangsdaten)
BGMmusicassets/bgm/track.mp3 (Abruf) · track.wav (Generierung)Lyria / MusicGen Generierung
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3Eingebundene 21-Dateien-Bibliothek (assets/sfx/* + manifest.json)

Siehe references/bgm.md und references/sfx.md.

Routing

AufgabeLesen
Die Audio-Engine – Anfrage/Meta-Schema, --only, der Schalterscripts/audio.mjs (Header-Kommentar)
npx hyperframes tts / heygen-tts.mjs – Anbieter, Stimmen, Wörterreferences/tts.md
BGM – HeyGen-Abruf + lokale Lyria/MusicGen Generierungreferences/bgm.md
SFX – HeyGen-Abruf (min_score 0.4) + eingebundene lokale Bibliothekreferences/sfx.md
npx hyperframes transcribe – Whisper, Modellregeln, Ausgabeformreferences/transcribe.md
npx hyperframes remove-background – transparente Ausschnittereferences/remove-background.md
TTS → Transkription → Untertitel (keine aufgezeichnete Sprachausgabe)references/tts-to-captions.md
Untertitel-Erstellung – Stilerkennung, Layout, Wortgruppierung, Ausstiegreferences/captions/authoring.md
Transkript-Verarbeitung – Eingabeformate, Qualitätsfilter, Bereinigung, APIsreferences/captions/transcript-handling.md
Untertitel-Bewegung – Karaoke, Markereffekte, audio-reaktivreferences/captions/motion.md
Modell-Caches, Systemabhängigkeiten, Fehlerbehebungreferences/requirements.md

Nicht verhandelbare Regeln

  • Eine Engine, keine kopierten Versionen. Audio über scripts/audio.mjs (oder heygen-tts.mjs für einmalige HeyGen TTS) produzieren. TTS/BGM/SFX nicht innerhalb eines Workflows neu implementieren – schreiben Sie einen audio_request.json-Adapter und rufen Sie die Engine auf.
  • „HeyGen verfügbar“ = auflösbare Zugangsdaten, nicht die CLI. Der gesamte Schalter hängt von heygenCredential() ab; die veröffentlichte hyperframes tts kann Nur-Kokoro sein, und es gibt überhaupt keinen Befehl hyperframes bgm / hyperframes sfx.
  • Sprach-IDs sind anbieterabhängig. am_michael ist Nur-Kokoro; HeyGen-UUIDs funktionieren nicht mit Kokoro. Wenn Sie --voice übergeben, setzen Sie auch --provider fest, um eine stille Anbieterabweichung bei Änderung der Benutzerumgebung zu vermeiden.
  • Immer --model an transcribe übergeben. Der CLI-Standard small.en übersetzt stillschweigend nicht-englische Audiodaten. Siehe references/transcribe.md → „Sprachregel“.
  • HeyGen gibt Wort-Zeitstempel zurück; ElevenLabs/Kokoro nicht. Die Engine fügt automatisch transcribe für die letzten beiden hinzu; eigenständig übergeben Sie --words an HeyGen oder führen transcribe gegen die Audiodatei aus.
  • Untertitel verbrauchen das flache Wort-Array-Format mit { id, text, start, end }. Siehe references/transcribe.md → „Ausgabeform“.
  • remove-background --background-output ist Lochschnitt, kein Inpainting. Für „Szene ohne die Person“ ist ein anderes Werkzeug erforderlich. Siehe references/remove-background.md → „Wann NICHT das richtige Werkzeug“.
  • BGM/SFX standardmäßig HeyGen-Abruf; der Rückfall ohne Zugangsdaten ist Generierung (BGM) oder die eingebundene Bibliothek (SFX). /audio/sounds sortiert nach einer Textabfrage – benennen Sie Effekte konkret (glass shatter, nicht dramatic sound); ein fehlender Treffer überspringt, blockiert nie das Rendern. SFX liegen bei ~0,35 Lautstärke unter Stimme + BGM. Siehe references/sfx.md / references/bgm.md.
  • Behandeln Sie Workflow-Untertitel-HTML als generierte Ausgabe. Für pressegestützte Videos befindet sich die wiederverwendbare Skin-Quelle unter .hyperframes/caption-skin.html und das Workflow-Skript schreibt compositions/captions.html; bearbeiten Sie nicht generiertes compositions/captions.html, um die Skin zu korrigieren. Erstellen Sie es über den captions.mjs des Workflows neu oder verwenden Sie den expliziten Überschreibungsmechanismus dieses Workflows, sofern vorhanden.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

9018/mychat

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni). Supports gateways: HeyGen API, fal.ai API, Kling official direct API, and the Gemini API (Gemini Omni Flash).

9018/mychat

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

9018/mychat

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

9018/mychat

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

9018/mychat

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

9018/mychat

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

9018/mychat

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

9018/mychat

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

9018/mychat

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

9018/mychat

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

9018/mychat

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

9018/mychat

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

9018/mychat

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

9018/mychat

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

9018/mychat

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

9018/mychat

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

9018/mychat

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

9018/mychat

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

9018/mychat

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

9018/mychat

Download video and audio from YouTube and 1000+ sites using yt-dlp. No API keys needed. Use when: (1) Downloading a video from YouTube or other sites, (2) Extracting audio from a video URL, (3) Downloading subtitles/captions from a video, (4) Getting video metadata without downloading.

Verwandte Skills