Communitygithub.com

Aseel1600/Edit01

Audio- und Medien-Assets für HyperFrames-Kompositionen, erzeugt durch eine gemeinsame Audio-Engine (`scripts/audio.mjs`) – Multi-Anbieter TTS (HeyGen / ElevenLabs / Kokoro lokal), Hintergrundmusik + Soundeffekte (HeyGen Audio-Library-Abruf standardmäßig, mit lokaler Lyria / MusicGen BGM-Generierung und einer gebündelten SFX-Bibliothek als Fallback ohne Anmeldedaten), Whisper-Transkription, Hintergrundentfernung und Untertitel-Erstellung. Verwenden für Voiceover / TTS, BGM, SFX / Soundeffekte, Transkription, Untertitel / Bildunterschriften / Liedtexte / Karaoke / wortweise Formatierung, Sprach- und Anbieterauswahl sowie Musik-Stimmung-Prompting.

Was ist Edit01?

Dieses Skill für HyperFrames ermöglicht die Erstellung und Verwaltung aller Audio- und Medien-Assets, die eine Komposition benötigt. Es stellt eine zentrale Audio-Engine (`scripts/audio.mjs`) bereit, die Text-to-Speech (TTS), Hintergrundmusik (BGM), Soundeffekte (SFX), Transkription (Whisper), Hintergrundentfernung und Untertitel-Erstellung vereinheitlicht. Die Engine wählt automatisch den besten verfügbaren Anbieter: Bei vorhandenem HeyGen-Zugang werden dessen REST-APIs (inkl. nativer Wortzeitstempel) genutzt – für TTS, BGM und SFX. Fehlt ein HeyGen-Zugang, fällt die Engine auf ElevenLabs oder das lokale Kokoro-82M (TTS), auf Lyria/MusicGen (BGM-Generierung) oder eine gebündelte 21-Dateien-SFX-Bibliothek zurück. Das Skill unterstützt die Plattformen HyperFrames und kann über die Kommandozeile (`npx hyperframes` und Node.js-Skripte) gesteuert werden. Für Entwickler und KI-Agenten-Benutzer ist es besonders nützlich, da es eine konsistente, erweiterbare Schnittstelle für Audio- und Medien-Workflows bietet, ohne dass man sich um die Anbieterintegration kümmern muss. Wichtige Regeln sind: Immer zuerst den Anmeldestatus prüfen (`npx hyperframes auth status`), nie die Engine duplizieren sondern nur via `audio_request.json` ansteuern und die Sprach-IDs anbieterabhängig verwalten.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Aseel1600/Edit01/tree/HEAD/.agents/skills/hyperframes-media

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

HyperFrames Medien

Erstelle die Audio- und Medien-Assets, die eine Komposition benötigt – Voiceover (TTS), Hintergrundmusik + Soundeffekte, Transkription, Untertitel, Hintergrundentfernung – und konsumiere und animiere diese Daten dann in HTML. Zum Platzieren von Assets in Kompositionen siehe hyperframes-core.

Die Audio-Engine – eine Quelle für TTS · BGM · SFX

Workflows erstellen KEINE Audio-Elemente von Hand oder verwenden eine eigene Kopie. Es gibt eine Engine – scripts/audio.mjs – die eine neutrale audio_request.json entgegennimmt und audio_meta.json (plus Assets unter assets/voice|bgm|sfx) schreibt:

# <MEDIA_DIR> = Verzeichnis dieses Skills
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Alle drei Fähigkeiten degradieren abhängig von EINEM Schalter – ob ein HeyGen-Zugang vorhanden ist (aufgelöst aus $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, nicht über die CLI):

FähigkeitHeyGen-Zugang vorhandenabwesend
TTSHeyGen Starfish REST (native Wortzeitstempel)→ ElevenLabs → Kokoro (verketten transcribe für Wörter)
BGMHeyGen Musik-AbrufLyria → MusicGen lokale Generierung (abgetrennt)
SFXHeyGen Soundeffekt-Abruf (min_score 0.4)gebündelte 21-Dateien-Bibliothek (assets/sfx/)
  • Anfrage (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id verbindet jede Zeile zurück zum aufrufenden Modell (eine Frame-Nummer, eine Szenen-ID, …). bgm.mode = retrieve | generate | none; weglassen für automatisch (Abruf bei vorhandenem Zugang, sonst Generierung). Ein expliziter retrieve ist strikt – er überspringt, anstatt eine abgetrennte Generierung zu starten (für Aufrufer ohne wait-bgm-Schritt).
  • Ausgabe (audio_meta.json, ID-basiert): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx führt eine Teilmenge aus und führt zusammen mit einer bestehenden --out Datei (z.B. TTS+BGM früh, SFX sobald Cues existieren).
  • BGM-Generierung wird abgetrennt gestartet (bgm_pending: true) – vor dem Zusammenbau scripts/wait-bgm.mjs ausführen.
  • scripts/heygen-tts.mjs ist ein einmaliges CLI über denselben Code (ein Text → wav + Wörter) für den Fall, dass nur HeyGen TTS ohne Anfragedatei benötigt wird.

Das vollständige Flag-Schema und das audio_meta.json-Schema stehen im Header von scripts/audio.mjs. Die Referenzen unten decken die Anbieterdetails und Randfälle hinter jeder Fähigkeit ab.

Vorabprüfung – Anmeldestatus vor jeglichem Audio anzeigen

Führe dies immer aus, bevor du Sprache oder BGM generierst – innerhalb eines vollständigen Workflows oder einer einmaligen "generiere mir ein BGM/Voiceover"-Anfrage. Kein HeyGen-Zugang ist kein Grund, stillschweigend auf lokale Engines zurückzufallen: Empfehle zuerst die Anmeldung und lass den Benutzer entscheiden. Führe die gemeinsame Vorabprüfung aus und gebe ihre Ausgabe wörtlich weiter – erfinde keine eigene "fehlender Schlüssel"-Eingabeaufforderung und biete nicht an, Schlüssel in eine repo-spezifische .env zu schreiben:

npx hyperframes auth status
  • Angemeldet → es gibt das Konto aus; fahre fort.
  • Nicht angemeldet (exit 1 ist hier zu erwarten – "nicht angemeldet" ist ein normaler Zustand, kein Fehler) → es gibt eine anleitende Registrierungshilfe aus. Empfehle die Anmeldung: npx hyperframes auth login ist Browser-OAuth – es meldet an und erstellt ein Konto (immer über die CLI dieses Repos verfügbar). Um einen bestehenden HeyGen API-Schlüssel (von app.heygen.com/settings/api) zu verwenden, führe npx hyperframes auth login --api-key aus – es speichert im gemeinsamen ~/.heygen (keine repo-spezifische .env). Die Ausgabe listet auch die lokalen Engines auf, auf die Sprache/BGM zurückfallen, sowie einen pip-Hinweis, wenn Abhängigkeiten fehlen. Gib diese Ausgabe unverändert weiter – paraphrasiere sie nicht in deinen eigenen Worten. Dann STOPPE und warte, bis der Benutzer wählt – anmelden, oder "start" / "lokal" sagen, um offline fortzufahren – bevor du irgendetwas generierst. Dies ist ein echter Entscheidungspunkt, keine beiläufige Notiz: Falte es nicht in eine andere Frage ein und fahre nicht eigenständig darüber hinaus. (Ausnahme: In autonomen / nicht-interaktiven Modus notiere den Status und fahre offline fort.)
  • npx hyperframes auth status --json gibt { configured, recommended_action, offline_engines } für deterministische Verzweigungen zurück.
  • Wenn die CLI nicht ausgeführt werden kann (nicht im PATH und npx kann sie nicht laden) → empfehle trotzdem die Anmeldung (npx hyperframes auth login) und STOPPE für die Wahl des Benutzers – behandle "kein Zugang" nicht als stillschweigendes grünes Licht für lokale Generierung.

Die Auflösung der Zugangsdaten, die vollständige Schlüsselpriorität und die Liste der lokalen Abhängigkeiten befinden sich in references/requirements.md.

Anbieterketten (die Details hinter der Engine)

TTS – der erste verfügbare Anbieter gewinnt (die Engine, oder npx hyperframes tts "..."):

ReihenfolgeAnbieterErkannt wennWortzeitstempel
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginJa, nativ – übergib --words narration.words.json zum Erfassen
2ElevenLabs$ELEVENLABS_API_KEY gesetztNein – nachträglich transcribe verketten
3Kokoro-82M (lokal, 54 Stimmen)immer (kein Schlüssel erforderlich)Nein – nachträglich transcribe verketten

Die veröffentlichte hyperframes tts CLI ist oft der lokale Build (ihr --help sagt "Kokoro-82M", kein --provider/--words) und fällt stillschweigend auf Kokoro zurück, selbst wenn $HEYGEN_API_KEY gesetzt ist. Deshalb ist der HeyGen-Pfad der Engine das eigenständige scripts/heygen-tts.mjs (REST), NICHT die CLI; die CLI wird nur für den Kokoro-Pfad verwendet. Siehe references/tts.md.

BGM & SFX – standardmäßig abgerufen aus der HeyGen Audio-Bibliothek (/v3/audio/sounds), gleicher Zugang wie bei HeyGen TTS, mit dem Fallback ohne Zugang aus der obigen Tabelle:

AssetHeyGen typeLandet inFallback (kein Zugang)
BGMmusicassets/bgm/track.mp3 (Abruf) · track.wav (Generierung)Lyria / MusicGen Generierung
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3gebündelte 21-Dateien-Bibliothek (assets/sfx/* + manifest.json)

Siehe references/bgm.md und references/sfx.md.

Routing

AufgabeLese
Die Audio-Engine – Anfrage/Meta-Schema, --only, der Schalterscripts/audio.mjs (Header-Kommentar)
npx hyperframes tts / heygen-tts.mjs – Anbieter, Stimmen, Wörterreferences/tts.md
BGM – HeyGen Abruf + lokale Lyria / MusicGen Generierungreferences/bgm.md
SFX – HeyGen Abruf (min_score 0.4) + gebündelte lokale Bibliothekreferences/sfx.md
npx hyperframes transcribe – Whisper, Modellregeln, Ausgabeformatreferences/transcribe.md
npx hyperframes remove-background – transparente Ausschnittereferences/remove-background.md
TTS → Transkription → Untertitel (kein aufgenommenes Voiceover)references/tts-to-captions.md
Untertitel-Erstellung – Stilerkennung, Layout, Wortgruppierung, Beendenreferences/captions/authoring.md
Transkript-Handhabung – Eingabeformate, Qualitätsschwellen, Bereinigung, APIsreferences/captions/transcript-handling.md
Untertitel-Bewegung – Karaoke, Markereffekte, audio-reaktivreferences/captions/motion.md
Modell-Caches, Systemabhängigkeiten, Fehlerbehebungreferences/requirements.md

Unverhandelbare Regeln

  • Eine Engine, keine eingekauften Kopien. Erzeuge Audio über scripts/audio.mjs (oder heygen-tts.mjs für einmaliges HeyGen TTS). Implementiere TTS/BGM/SFX nicht innerhalb eines Workflows neu – schreibe einen audio_request.json-Adapter und rufe die Engine auf.
  • "HeyGen verfügbar" = ein auflösbarer Zugang, nicht die CLI. Der gesamte Schalter hängt von heygenCredential() ab; die veröffentlichte hyperframes tts CLI ist möglicherweise nur Kokoro, und es gibt gar keinen Befehl hyperframes bgm / hyperframes sfx.
  • Stimmen-IDs sind anbieterspezifisch. am_michael ist nur Kokoro; HeyGen UUIDs funktionieren nicht mit Kokoro. Wenn du --voice übergibst, setze auch --provider, um eine stille Anbieterdrift bei Änderung der Benutzerumgebung zu vermeiden.
  • Übergib immer --model an transcribe. Die CLI-Voreinstellung small.en übersetzt stillschweigend nicht-englische Audiodaten. Siehe references/transcribe.md → "Sprachregel".
  • HeyGen gibt Wortzeitstempel zurück; ElevenLabs / Kokoro nicht. Die Engine verknüpft transcribe automatisch für die letzten beiden; eigenständig übergib --words an HeyGen oder führe transcribe gegen die Audiodatei aus.
  • Untertitel konsumieren das flache Wort-Array-Format mit { id, text, start, end }. Siehe references/transcribe.md → "Ausgabeformat".
  • remove-background --background-output ist lochausgeschnitten, nicht nachbearbeitet. Für "Szene ohne die Person" ist ein anderes Werkzeug erforderlich. Siehe references/remove-background.md → "Wann NICHT das richtige Werkzeug".
  • BGM/SFX verwenden standardmäßig HeyGen Abruf; der Fallback ohne Zugang ist Generierung (BGM) oder die gebündelte Bibliothek (SFX). /audio/sounds sortiert nach einer Textabfrage – benenne Effekte konkret (glass shatter, nicht dramatic sound); ein fehlender Treffer überspringt, blockiert niemals den Render. SFX sitzen bei Lautstärke ~0.35 unter Sprache + BGM. Siehe references/sfx.md / references/bgm.md.
  • Behandle Workflow-Untertitel-HTML als generierte Ausgabe. Für videobasierte Voreinstellungen lebt die wiederverwendbare Skin-Quelle unter .hyperframes/caption-skin.html und das Workflow-Skript schreibt compositions/captions.html; bearbeite nicht die generierte compositions/captions.html, um den Skin zu korrigieren. Baue über das captions.mjs des Workflows neu, oder verwende den expliziten Überschreibungsmechanismus des Workflows, falls vorhanden.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Aseel1600/Edit01

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni). Supports gateways: HeyGen API, fal.ai API, Kling official direct API, and the Gemini API (Gemini Omni Flash).

Aseel1600/Edit01

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Aseel1600/Edit01

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Aseel1600/Edit01

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Aseel1600/Edit01

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Aseel1600/Edit01

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

Aseel1600/Edit01

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Aseel1600/Edit01

Generate expressive, multilingual narration with fish.audio (S1 / S2-generation models) and reuse cloned voices via reference_id. Use when the user prefers fish.audio/Fish Audio TTS, wants a specific playground voice model, or needs high-emotion voice-clone narration.

Aseel1600/Edit01

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Aseel1600/Edit01

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Aseel1600/Edit01

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Aseel1600/Edit01

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Aseel1600/Edit01

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Aseel1600/Edit01

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Aseel1600/Edit01

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Aseel1600/Edit01

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

Aseel1600/Edit01

Best practices for Remotion - Video creation in React

Aseel1600/Edit01

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Aseel1600/Edit01

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Aseel1600/Edit01

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

Verwandte Skills