Communitygithub.com

Aseel1600/Edit01

Actifs audio et médias pour compositions HyperFrames, produits par un moteur audio partagé (`scripts/audio.mjs`) — TTS multi-fournisseur (HeyGen / ElevenLabs / Kokoro local), musique de fond + effets sonores (récupération depuis la bibliothèque audio HeyGen par défaut, avec génération BGM locale Lyria / MusicGen et une bibliothèque SFX intégrée en solution de secours sans identifiants), transcription Whisper, suppression d'arrière-plan et création de sous-titres. Utilisez pour voix off / TTS, BGM, SFX / effets sonores, transcription, sous-titres / légendes / paroles / karaoké / style par mot, sélection de voix et de fournisseur, et suggestion d'ambiance musicale.

Qu'est-ce que Edit01 ?

Cette compétence HyperFrames, « Edit01 », est le moteur central pour la création et la gestion des actifs audio et vidéo (voix off, musique, effets sonores, transcription, sous-titres, suppression d'arrière-plan) dans les compositions HyperFrames. Elle est conçue pour être utilisée avec l'agent Claude Code, Cursor, Codex ou tout autre assistant de codage, en combinaison avec la compétence « hyperframes-core » pour l'assemblage final. Son point d'entrée unique est le script `scripts/audio.mjs`, qui prend un fichier `audio_request.json` et produit un `audio_meta.json` contenant tous les chemins d'accès aux actifs générés. Cette approche centralisée évite la duplication de code et garantit une cohérence entre les différents workflows. La compétence gère de manière transparente jusqu'à trois fournisseurs de TTS (HeyGen, ElevenLabs, Kokoro local), avec une récupération ou une génération de BGM et SFX, et une transcription Whisper. Le choix du fournisseur est déterminé automatiquement par la présence ou l'absence d'une clé API HeyGen, avec une hiérarchie de secours définie. L'une des caractéristiques clés est la vérification préalable obligatoire du statut de connexion via `npx hyperframes auth status` avant toute génération audio, ce qui permet de recommander la connexion à un compte HeyGen ou d'utiliser les moteurs locaux hors ligne. Cette étape est un point de décision explicite pour l'utilisateur, et non une simple note de passage.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Aseel1600/Edit01/tree/HEAD/.agents/skills/hyperframes-media

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Média HyperFrames

Créez les actifs audio et médias nécessaires à une composition — voix off (TTS), musique de fond + effets sonores, transcription, sous-titres, suppression d'arrière-plan — puis consommez et animez ces données en HTML. Pour placer des actifs dans des compositions, voir hyperframes-core.

Le moteur audio — une source unique pour TTS · BGM · SFX

Les workflows ne créent PAS d'audio manuellement ni n'utilisent de copie externalisée. Il existe un moteur unique — scripts/audio.mjs — qui prend un audio_request.json neutre et écrit audio_meta.json (plus les actifs sous assets/voice|bgm|sfx) :

# <MEDIA_DIR> = répertoire de cette compétence
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Les trois capacités dépendent d'UN SEUL commutateur — la présence d'un identifiant HeyGen (résolu à partir de $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, pas de la CLI) :

CapacitéIdentifiant HeyGen présentabsent
TTSHeyGen Starfish REST (horodatages natifs par mot)→ ElevenLabs → Kokoro (chaîne transcribe pour les mots)
BGMRécupération musique HeyGenLyria → MusicGen génération locale (détachée)
SFXRécupération effets sonores HeyGen (min_score 0.4)bibliothèque intégrée de 21 fichiers (assets/sfx/)
  • Requête (audio_request.json) : { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id rattache chaque ligne au modèle de l'appelant (un numéro d'image, un identifiant de scène, …). bgm.mode = retrieve | generate | none ; omettre pour auto (récupérer avec identifiant, sinon générer). Un retrieve explicite est strict — il saute plutôt que de lancer une génération détachée (pour les appelants sans étape wait-bgm).
  • Sortie (audio_meta.json, indexée par id) : { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx exécute un sous-ensemble et fusionne avec un --out existant (par exemple, TTS+BGM tôt, SFX une fois les repères existants).
  • La génération BGM est lancée détachée (bgm_pending: true) — exécutez scripts/wait-bgm.mjs avant l'assemblage.
  • scripts/heygen-tts.mjs est une CLI à usage unique sur le même code (un texte → wav + mots) pour quand vous avez juste besoin du TTS HeyGen sans fichier de requête.

La liste complète des indicateurs et le schéma audio_meta.json se trouvent dans l'en-tête de scripts/audio.mjs. Les références ci-dessous couvrent les détails des fournisseurs et les cas particuliers derrière chaque capacité.

Pré-vérification — afficher l'état de connexion avant tout audio

Exécutez TOUJOURS cette étape avant de générer une voix ou un BGM — dans un workflow complet ou une demande ponctuelle « génère-moi un BGM/voix off ». L'absence d'identifiant HeyGen n'est pas une raison pour utiliser silencieusement les moteurs locaux : recommandez d'abord la connexion et laissez l'utilisateur décider. Exécutez la pré-vérification partagée et retransmettez sa sortie textuellement — n'improvisez pas votre propre message « clé manquante » et n'offrez pas d'écrire des clés dans un .env par dépôt :

npx hyperframes auth status
  • Connecté → il affiche le compte ; continuez.
  • Non connecté (exit 1 est attendu ici — « non connecté » est un état normal, pas un échec) → il affiche des conseils d'inscription. Recommandez la connexion : npx hyperframes auth login est un OAuth navigateur — il connecte et crée un compte (toujours disponible via la CLI de ce dépôt). Pour utiliser une clé API HeyGen existante (depuis app.heygen.com/settings/api), exécutez npx hyperframes auth login --api-key — elle enregistre dans ~/.heygen partagé (pas de .env par dépôt). La sortie liste également les moteurs locaux vers lesquels la voix/BGM basculera et un indice pip lorsque les dépendances manquent. Retransmettez cette sortie telle quelle — ne la paraphrasez pas dans vos propres mots. Ensuite, ARRÊTEZ et attendez le choix de l'utilisateur — se connecter, ou dire « go » / « local » pour continuer hors ligne — avant de générer quoi que ce soit. C'est un véritable point de décision, pas une note de passage : ne le fondez pas dans une autre question et ne continuez pas par vous-même. (Exception : en mode autonome / non interactif, notez l'état et continuez hors ligne.)
  • npx hyperframes auth status --json renvoie { configured, recommended_action, offline_engines } pour une ramification déterministe.
  • Si la CLI ne peut pas s'exécuter (pas dans le PATH et npx ne peut pas la récupérer) → recommandez toujours la connexion (npx hyperframes auth login) et ARRÊTEZ pour le choix de l'utilisateur — ne traitez pas « pas d'identifiant » comme un feu vert silencieux pour la génération locale.

La résolution des identifiants, la priorité complète des clés et la liste des dépendances locales se trouvent dans references/requirements.md.

Chaînes de fournisseurs (le détail derrière le moteur)

TTS — le premier fournisseur disponible gagne (le moteur, ou npx hyperframes tts "...") :

OrdreFournisseurDétecté quandHorodatages par mot
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginOui, natifs — passez --words narration.words.json pour capturer
2ElevenLabs$ELEVENLABS_API_KEY définiNon — chaînez transcribe après
3Kokoro-82M (local, 54 voix)toujours (aucune clé requise)Non — chaînez transcribe après

La CLI publiée hyperframes tts est souvent la version locale uniquement (son --help dit « Kokoro-82M », pas de --provider/--words) et utilise silencieusement Kokoro même avec $HEYGEN_API_KEY défini. C'est pourquoi le chemin HeyGen du moteur est le scripts/heygen-tts.mjs (REST) autonome, PAS la CLI ; la CLI est utilisée uniquement pour le chemin Kokoro. Voir references/tts.md.

BGM et SFX — par défaut récupérés depuis la bibliothèque audio HeyGen (/v3/audio/sounds), même identifiant que pour le TTS HeyGen, avec la solution de secours sans identifiant du commutateur ci-dessus :

ActifType HeyGenAtterrit dansSolution de secours (sans identifiant)
BGMmusicassets/bgm/track.mp3 (récupération) · track.wav (génération)Génération Lyria / MusicGen
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3Bibliothèque intégrée de 21 fichiers (assets/sfx/* + manifest.json)

Voir references/bgm.md et references/sfx.md.

Routage

TâcheLire
Le moteur audio — schéma requête/meta, --only, le commutateurscripts/audio.mjs (commentaire d'en-tête)
npx hyperframes tts / heygen-tts.mjs — fournisseurs, voix, motsreferences/tts.md
BGM — Récupération HeyGen + génération locale Lyria / MusicGenreferences/bgm.md
SFX — Récupération HeyGen (min_score 0.4) + bibliothèque locale intégréereferences/sfx.md
npx hyperframes transcribe — Whisper, règles de modèle, forme de sortiereferences/transcribe.md
npx hyperframes remove-background — découpes transparentesreferences/remove-background.md
TTS → transcription → sous-titres (sans voix off enregistrée)references/tts-to-captions.md
Création de sous-titres — détection de style, disposition, regroupement de mots, sortiereferences/captions/authoring.md
Gestion des transcriptions — formats d'entrée, contrôles de qualité, nettoyage, APIreferences/captions/transcript-handling.md
Animation des sous-titres — karaoké, effets de marqueur, réactif à l'audioreferences/captions/motion.md
Caches de modèles, dépendances système, dépannagereferences/requirements.md

Règles non négociables

  • Un moteur unique, pas de copies externalisées. Produisez l'audio via scripts/audio.mjs (ou heygen-tts.mjs pour un TTS HeyGen ponctuel). Ne réimplémentez pas TTS/BGM/SFX dans un workflow — écrivez un adaptateur audio_request.json et appelez le moteur.
  • « HeyGen disponible » = un identifiant résoluble, pas la CLI. Tout le commutateur se base sur heygenCredential() ; la CLI publiée hyperframes tts peut être Kokoro uniquement, et il n'existe aucune commande hyperframes bgm / hyperframes sfx.
  • Les identifiants de voix sont spécifiques au fournisseur. am_michael est Kokoro uniquement ; les UUID HeyGen ne fonctionnent pas sur Kokoro. Si vous passez --voice, verrouillez également --provider pour éviter une dérive silencieuse du fournisseur lorsque l'environnement de l'utilisateur change.
  • Passez toujours --model à transcribe. Le défaut de la CLI small.en traduit silencieusement l'audio non anglais. Voir references/transcribe.md → « Règle de langue ».
  • HeyGen renvoie des horodatages par mot ; ElevenLabs / Kokoro non. Le moteur chaîne transcribe automatiquement pour ces deux derniers ; de manière autonome, passez --words à HeyGen ou exécutez transcribe sur le fichier audio.
  • Les sous-titres consomment le format de tableau de mots plat avec { id, text, start, end }. Voir references/transcribe.md → « Forme de sortie ».
  • remove-background --background-output est un trou découpé, pas un remplissage intelligent. Pour « scène sans la personne », un outil différent est nécessaire. Voir references/remove-background.md → « Quand NE PAS utiliser cet outil ».
  • BGM/SFX utilisent par défaut la récupération HeyGen ; la solution de secours sans identifiant est la génération (BGM) ou la bibliothèque intégrée (SFX). /audio/sounds classe par requête textuelle — nommez les effets concrètement (verre brisé, pas son dramatique) ; une absence de correspondance saute, ne bloque jamais le rendu. Les SFX sont à un volume d'environ 0,35 sous la voix et le BGM. Voir references/sfx.md / references/bgm.md.
  • Traitez le HTML des sous-titres du workflow comme une sortie générée. Pour les vidéos basées sur des skins prédéfinis, la source du skin réutilisable se trouve à .hyperframes/caption-skin.html et le script du workflow écrit compositions/captions.html ; ne modifiez pas le compositions/captions.html généré pour corriger le skin. Reconstruisez via le captions.mjs du workflow ou utilisez le mécanisme de surcharges explicites de ce workflow lorsqu'il est présent.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Aseel1600/Edit01

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni). Supports gateways: HeyGen API, fal.ai API, Kling official direct API, and the Gemini API (Gemini Omni Flash).

Aseel1600/Edit01

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Aseel1600/Edit01

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Aseel1600/Edit01

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Aseel1600/Edit01

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Aseel1600/Edit01

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

Aseel1600/Edit01

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Aseel1600/Edit01

Generate expressive, multilingual narration with fish.audio (S1 / S2-generation models) and reuse cloned voices via reference_id. Use when the user prefers fish.audio/Fish Audio TTS, wants a specific playground voice model, or needs high-emotion voice-clone narration.

Aseel1600/Edit01

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Aseel1600/Edit01

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Aseel1600/Edit01

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Aseel1600/Edit01

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Aseel1600/Edit01

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Aseel1600/Edit01

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Aseel1600/Edit01

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Aseel1600/Edit01

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

Aseel1600/Edit01

Best practices for Remotion - Video creation in React

Aseel1600/Edit01

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Aseel1600/Edit01

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Aseel1600/Edit01

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

Skills associés