Communitygithub.com

Army161/OpenMontage

Audio- und Medien-Assets für HyperFrames-Kompositionen, erzeugt von einer gemeinsamen Audio-Engine (`scripts/audio.mjs`) – Multi-Provider TTS (HeyGen / ElevenLabs / Kokoro lokal), Hintergrundmusik + Soundeffekte (HeyGen Audio-Library-Abruf standardmäßig, mit lokaler Lyria / MusicGen BGM-Generierung und einer gebündelten SFX-Bibliothek als Fallback ohne Anmeldedaten), Whisper-Transkription, Hintergrundentfernung und Erstellung von Untertiteln. Verwendung für Voiceover / TTS, BGM, SFX / Soundeffekte, Transkription, Untertitel / Bildunterschriften / Liedtexte / Karaoke / Wort-für-Wort-Stil, Stimmen- und Anbieterauswahl sowie Musik-Stimmungs-Prompting.

Was ist OpenMontage?

Dieses Skill, **HyperFrames Media** (Army161/OpenMontage), ist die zentrale Audio- und Medien-Engine für HyperFrames-Kompositionen. Es stellt sicher, dass alle Sprach-, Musik- und Soundeffekte über eine einzige, einheitliche Engine (`scripts/audio.mjs`) erzeugt werden, anstatt dass Workflows eigene Audiokomponenten zusammenbasteln. Das Skill unterstützt mehrere Anbieter für Text-to-Speech (TTS) – HeyGen (mit nativen Wort-Zeitstempeln), ElevenLabs und das lokale Kokoro-82M – und wechselt intelligent zwischen ihnen, abhängig davon, ob ein HeyGen-Anmeldedatum vorhanden ist. Für Hintergrundmusik (BGM) und Soundeffekte (SFX) greift es standardmäßig auf die HeyGen-Audiobibliothek zurück; falls keine Anmeldedaten vorliegen, generiert es BGM lokal mit Lyria oder MusicGen und verwendet eine eingebaute 21-Dateien-SFX-Bibliothek. Das Skill enthält auch Werkzeuge für die Whisper-Transkription, Hintergrundentfernung und die Erstellung von Untertiteln mit erweiterten Funktionen wie Karaoke-Animation und Wortgruppierung. Entwickler nutzen es, indem sie eine `audio_request.json`-Datei erstellen und die Engine über die Kommandozeile aufrufen; die Engine gibt dann eine `audio_meta.json` mit allen relevanten Metadaten wie Dateipfaden, Dauern und Zeitstempeln aus. Das Skill ist so konzipiert, dass es mit HyperFrames-Kompositionen zusammenarbeitet, kann aber auch eigenständig für die Audioerstellung verwendet werden. Eine wichtige nicht verhandelbare Regel ist die obligatorische Vorab-Prüfung des Anmeldestatus (`npx hyperframes auth status`), um sicherzustellen, dass der Benutzer über die verfügbaren Anbieter informiert ist, bevor Audio generiert wird.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Army161/OpenMontage/tree/HEAD/.agents/skills/hyperframes-media

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

HyperFrames Media

Erstellen Sie die Audio- und Medien-Assets, die eine Komposition benötigt – Voiceover (TTS), Hintergrundmusik + Soundeffekte, Transkription, Untertitel, Hintergrundentfernung – und konsumieren und animieren Sie diese Daten dann in HTML. Informationen zum Platzieren von Assets in Kompositionen finden Sie unter hyperframes-core.

Die Audio-Engine – eine Quelle für TTS · BGM · SFX

Workflows bauen keine eigene Audio-Engine oder verwenden eine Kopie eines Anbieters. Es gibt eine Engine – scripts/audio.mjs – die eine neutrale audio_request.json entgegennimmt und audio_meta.json (plus Assets unter assets/voice|bgm|sfx) schreibt:

# <MEDIA_DIR> = das Verzeichnis dieses Skills
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Alle drei Fähigkeiten hängen von EINEM Schalter ab – ob ein HeyGen-Anmeldedatum vorhanden ist (ermittelt aus $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, nicht der CLI):

FähigkeitHeyGen-Anmeldedatum vorhandenabwesend
TTSHeyGen Starfish REST (native Wort-Zeitstempel)→ ElevenLabs → Kokoro (Kette transcribe für Wörter)
BGMHeyGen-Musik AbrufLyria → MusicGen lokale Generierung (entkoppelt)
SFXHeyGen-Soundeffekt-Abruf (min_score 0.4)gebündelte 21-Dateien-Bibliothek (assets/sfx/)
  • Anfrage (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id verbindet jede Zeile mit dem Modell des Aufrufers (eine Frame-Nummer, eine Szenen-ID, …). bgm.mode = retrieve | generate | none; weglassen für automatisch (abrufen, wenn Anmeldedatum vorhanden, sonst generieren). Ein explizites retrieve ist streng – es überspringt, anstatt eine entkoppelte Generierung zu starten (für Aufrufer ohne wait-bgm-Schritt).
  • Ausgabe (audio_meta.json, nach ID indiziert): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx führt eine Teilmenge aus und führt sie mit einem bestehenden --out zusammen (z. B. TTS+BGM früh, SFX sobald Cues existieren).
  • BGM-Generierung wird entkoppelt gestartet (bgm_pending: true) – führen Sie scripts/wait-bgm.mjs vor der Montage aus.
  • scripts/heygen-tts.mjs ist eine Einzelaufruf-CLI über denselben Code (ein Text → WAV + Wörter) für den Fall, dass Sie nur HeyGen TTS ohne eine Anfragedatei benötigen.

Die vollständige Flag-Liste + das audio_meta.json-Schema befinden sich im Header von scripts/audio.mjs. Die folgenden Referenzen decken die Anbieterdetails und Randfälle hinter jeder Fähigkeit ab.

Vorab-Prüfung – Anmeldestatus vor jeglichem Audio anzeigen

Führen Sie dies immer aus, bevor Sie Sprache oder BGM generieren – innerhalb eines vollständigen Workflows oder einer einmaligen "generiere mir BGM/Voiceover"-Anfrage. Kein HeyGen-Anmeldedatum ist kein Grund, stillschweigend auf lokale Engines zurückzufallen: Empfehlen Sie zuerst die Anmeldung und lassen Sie den Benutzer entscheiden. Führen Sie die gemeinsame Vorab-Prüfung aus und geben Sie deren Ausgabe wörtlich wieder – improvisieren Sie keine eigene "fehlender Schlüssel"-Aufforderung und bieten Sie nicht an, Schlüssel in ein .env pro Repository zu schreiben:

npx hyperframes auth status
  • Angemeldet → es gibt das Konto aus; fahren Sie fort.
  • Nicht angemeldet (exit 1 ist hier erwartet – "nicht angemeldet" ist ein normaler Zustand, kein Fehler) → es gibt eine Anleitung zur Registrierung aus. Empfehlen Sie die Anmeldung: npx hyperframes auth login ist Browser-OAuth – es meldet an und erstellt ein Konto (immer über die CLI dieses Repos verfügbar). Um einen vorhandenen HeyGen-API-Schlüssel (von app.heygen.com/settings/api) zu verwenden, führen Sie npx hyperframes auth login --api-key aus – es speichert im gemeinsamen ~/.heygen (kein .env pro Repository). Die Ausgabe listet auch die lokalen Engines auf, auf die Sprache/BGM zurückfallen, sowie einen pip-Hinweis, wenn Abhängigkeiten fehlen. Geben Sie diese Ausgabe unverändert weiter – paraphrasieren Sie sie nicht in Ihre eigenen Worte. Dann STOPPEN Sie und warten Sie auf die Entscheidung des Benutzers – anmelden, oder "los" / "lokal" sagen, um offline fortzufahren – bevor Sie irgendetwas generieren. Dies ist ein echter Entscheidungspunkt, kein nebensächlicher Hinweis: Fassen Sie es nicht in eine andere Frage und fahren Sie nicht eigenständig darüber hinaus. (Ausnahme: Im autonomen / nicht-interaktiven Modus notieren Sie den Status und fahren Sie offline fort.)
  • npx hyperframes auth status --json gibt { configured, recommended_action, offline_engines } für deterministische Verzweigungen zurück.
  • Wenn die CLI nicht ausgeführt werden kann (nicht im PATH und npx kann sie nicht abrufen) → empfehlen Sie trotzdem die Anmeldung (npx hyperframes auth login) und STOPPEN Sie für die Wahl des Benutzers – behandeln Sie "kein Anmeldedatum" nicht als stillschweigendes grünes Licht für die lokale Generierung.

Die Auflösung von Anmeldedaten, die vollständige Schlüsselpriorität und die Liste der lokalen Abhängigkeiten finden Sie in references/requirements.md.

Anbieterketten (die Details hinter der Engine)

TTS – der zuerst verfügbare Anbieter gewinnt (die Engine oder npx hyperframes tts "..."):

ReihenfolgeAnbieterErkannt, wennWort-Zeitstempel
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginJa, nativ – übergeben Sie --words narration.words.json, um zu erfassen
2ElevenLabs$ELEVENLABS_API_KEY gesetztNein – transcribe nachschalten
3Kokoro-82M (lokal, 54 Stimmen)immer (kein Schlüssel erforderlich)Nein – transcribe nachschalten

Die veröffentlichte hyperframes tts-CLI ist oft der nur-lokale Build (ihr --help sagt "Kokoro-82M", kein --provider/--words) und fällt stillschweigend auf Kokoro zurück, selbst wenn $HEYGEN_API_KEY gesetzt ist. Deshalb ist der HeyGen-Pfad der Engine das eigenständige scripts/heygen-tts.mjs (REST), NICHT die CLI; die CLI wird nur für den Kokoro-Pfad verwendet. Siehe references/tts.md.

BGM & SFX – standardmäßig abgerufen aus der HeyGen-Audiobibliothek (/v3/audio/sounds), gleiches Anmeldedatum wie HeyGen TTS, mit dem Fallback ohne Anmeldedaten aus der obigen Tabelle:

AssetHeyGen typeLandet inFallback (kein Anmeldedatum)
BGMmusicassets/bgm/track.mp3 (Abruf) · track.wav (Generierung)Lyria / MusicGen-Generierung
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3gebündelte 21-Dateien-Bibliothek (assets/sfx/* + manifest.json)

Siehe references/bgm.md und references/sfx.md.

Weiterleitung

AufgabeLesen
Die Audio-Engine – Anfrage/Meta-Schema, --only, der Schalterscripts/audio.mjs (Header-Kommentar)
npx hyperframes tts / heygen-tts.mjs – Anbieter, Stimmen, Wörterreferences/tts.md
BGM – HeyGen-Abruf + lokale Lyria / MusicGen-Generierungreferences/bgm.md
SFX – HeyGen-Abruf (min_score 0.4) + gebündelte lokale Bibliothekreferences/sfx.md
npx hyperframes transcribe – Whisper, Modellregeln, Ausgabeformatreferences/transcribe.md
npx hyperframes remove-background – transparente Ausschnittereferences/remove-background.md
TTS → Transkription → Untertitel (kein aufgenommenes Voiceover)references/tts-to-captions.md
Untertitel-Erstellung – Stilerkennung, Layout, Wortgruppierung, Beendenreferences/captions/authoring.md
Transkript-Verarbeitung – Eingabeformate, Qualitätsgrenzen, Bereinigung, APIsreferences/captions/transcript-handling.md
Untertitel-Bewegung – Karaoke, Marker-Effekte, audio-reaktivreferences/captions/motion.md
Modell-Caches, Systemabhängigkeiten, Fehlerbehebungreferences/requirements.md

Nicht verhandelbare Regeln

  • Eine Engine, keine kopierten Komponenten. Erzeugen Sie Audio über scripts/audio.mjs (oder heygen-tts.mjs für einmaliges HeyGen TTS). Implementieren Sie TTS/BGM/SFX nicht innerhalb eines Workflows neu – schreiben Sie einen audio_request.json-Adapter und rufen Sie die Engine auf.
  • "HeyGen verfügbar" = ein auflösbares Anmeldedatum, nicht die CLI. Der gesamte Schalter basiert auf heygenCredential(); die veröffentlichte hyperframes tts kann Kokoro-only sein, und es gibt überhaupt keinen Befehl hyperframes bgm / hyperframes sfx.
  • Stimm-IDs sind anbieterabhängig. am_michael ist nur für Kokoro; HeyGen-UUIDs funktionieren nicht mit Kokoro. Wenn Sie --voice übergeben, legen Sie auch --provider fest, um eine stillschweigende Anbieterdrift zu vermeiden, wenn sich die Umgebung des Benutzers ändert.
  • Übergeben Sie immer --model an transcribe. Der CLI-Standard small.en übersetzt nicht-englische Audiodaten stillschweigend. Siehe references/transcribe.md → "Sprachregel".
  • HeyGen gibt Wort-Zeitstempel zurück; ElevenLabs / Kokoro nicht. Die Engine schaltet transcribe für die letzten beiden automatisch nach; eigenständig übergeben Sie --words an HeyGen oder führen Sie transcribe gegen die Audiodatei aus.
  • Untertitel konsumieren das flache Wort-Array-Format mit { id, text, start, end }. Siehe references/transcribe.md → "Ausgabeformat".
  • remove-background --background-output ist ein Lochschnitt, keine Inpainting. Für "Szene ohne die Person" ist ein anderes Werkzeug erforderlich. Siehe references/remove-background.md → "Wann das NICHT das richtige Werkzeug ist".
  • BGM/SFX standardmäßig Abruf von HeyGen; der Fallback ohne Anmeldedaten ist Generierung (BGM) oder die gebündelte Bibliothek (SFX). /audio/sounds ordnet nach einer Textabfrage – benennen Sie Effekte konkret (glass shatter, nicht dramatic sound); eine fehlende Übereinstimmung überspringt, blockiert nie das Rendern. SFX liegen bei Lautstärke ~0,35 unter Stimme + BGM. Siehe references/sfx.md / references/bgm.md.
  • Behandeln Sie Workflow-Untertitel-HTML als generierte Ausgabe. Für vorlagenbasierte Videos befindet sich die wiederverwendbare Skin-Quelle unter .hyperframes/caption-skin.html und das Workflow-Skript schreibt compositions/captions.html; bearbeiten Sie nicht das generierte compositions/captions.html, um die Skin zu korrigieren. Erstellen Sie es über das captions.mjs des Workflows neu oder verwenden Sie den expliziten Überschreibungsmechanismus dieses Workflows, falls vorhanden.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Army161/OpenMontage

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax). Supports two gateways: HeyGen API and fal.ai API.

Army161/OpenMontage

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Army161/OpenMontage

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Army161/OpenMontage

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Army161/OpenMontage

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Army161/OpenMontage

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

Army161/OpenMontage

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Army161/OpenMontage

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Army161/OpenMontage

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Army161/OpenMontage

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Army161/OpenMontage

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Army161/OpenMontage

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Army161/OpenMontage

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Army161/OpenMontage

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Army161/OpenMontage

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

Army161/OpenMontage

Best practices for Remotion - Video creation in React

Army161/OpenMontage

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Army161/OpenMontage

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Army161/OpenMontage

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

Army161/OpenMontage

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

Verwandte Skills