Communitygithub.com

Aseel1600/Edit01

Activos de audio y medios para composiciones HyperFrames, producidos por un motor de audio compartido (`scripts/audio.mjs`) — TTS multi-proveedor (HeyGen / ElevenLabs / Kokoro local), música de fondo + efectos de sonido (recuperación de la biblioteca de audio de HeyGen por defecto, con generación local de BGM Lyria / MusicGen y una biblioteca de SFX incluida como alternativa sin credenciales), transcripción Whisper, eliminación de fondo y creación de subtítulos. Útil para locuciones / TTS, BGM, SFX / efectos de sonido, transcripción, subtítulos / leyendas / karaoke / estilo por palabra, selección de voz y proveedor, y sugerencias de estado de ánimo musical.

¿Qué es Edit01?

Esta skill, denominada Aseel1600/Edit01, es la capa de audio y medios del ecosistema HyperFrames, diseñada para generar todos los activos de audio que necesita una composición multimedia: locuciones mediante texto a voz (TTS) con soporte para HeyGen, ElevenLabs y Kokoro local; música de fondo (BGM) y efectos de sonido (SFX) recuperados de la librería de HeyGen o generados localmente con Lyria/MusicGen y una biblioteca local de 21 sonidos; transcripción con Whisper; eliminación de fondo; y subtítulos con estilos por palabra, karaoke y sincronización labial. Toda la funcionalidad se canaliza a través de un único motor centralizado (`scripts/audio.mjs`) que consume un archivo `audio_request.json` y produce `audio_meta.json` con metadatos detallados, permitiendo a los flujos de trabajo en plataformas como Claude Code, Cursor o Codex invocar una API consistente sin implementar lógica de audio propia. El motor se degrada automáticamente según la presencia de una credencial de HeyGen: si está presente, usa los servicios REST de HeyGen (que incluyen marcas de tiempo nativas por palabra); si no, falla a ElevenLabs y luego a Kokoro para TTS, a Lyria/MusicGen para generación de BGM, y a la biblioteca local de SFX. Una de las características más importantes es que, antes de generar cualquier audio, la skill ejecuta un pre-vuelo de autenticación que muestra el estado de inicio de sesión al usuario y le permite decidir si desea iniciar sesión (vía OAuth o clave API) o continuar sin conexión, evitando sorpresas silenciosas. Además, incluye reglas estrictas como no duplicar el motor de audio, pasar siempre el modelo `--model` a Whisper, y tratar los HTML de subtítulos generados como salida, no editables directamente.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Aseel1600/Edit01/tree/HEAD/.agents/skills/hyperframes-media

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

HyperFrames Media

Crea los activos de audio y medios que necesita una composición — locuciones (TTS), música de fondo + efectos de sonido, transcripción, subtítulos, eliminación de fondo — y luego consume y anima esos datos en HTML. Para colocar activos en composiciones, consulta hyperframes-core.

El motor de audio — una sola fuente para TTS · BGM · SFX

Los flujos de trabajo NO implementan audio desde cero ni crean copias independientes. Hay un único motor — scripts/audio.mjs — que recibe un audio_request.json neutral y escribe audio_meta.json (además de los activos bajo assets/voice|bgm|sfx):

# <MEDIA_DIR> = directorio de esta skill
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Las tres capacidades se degradan según UN SOLO interruptor — si hay una credencial de HeyGen presente (resuelta desde $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, no desde la CLI):

CapacidadCredencial de HeyGen presenteausente
TTSHeyGen Starfish REST (marcas de tiempo nativas)→ ElevenLabs → Kokoro (encadena transcribe para palabras)
BGMRecuperación de música de HeyGenGeneración local con Lyria → MusicGen (desacoplada)
SFXRecuperación de efectos de sonido de HeyGen (min_score 0.4)Biblioteca local de 21 archivos (assets/sfx/)
  • Solicitud (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [nombres] }], bgm: { mode?, query?, prompt? } }. id vincula cada línea al modelo de quien llama (un número de fotograma, un id de escena, …). bgm.mode = retrieve | generate | none; si se omite, es automático (recupera si hay credencial, si no genera). Un retrieve explícito es estricto — salta en lugar de iniciar una generación desacoplada (para quienes llaman no tienen un paso wait-bgm).
  • Salida (audio_meta.json, indexado por id): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx ejecuta un subconjunto y fusiona con un --out existente (ej. TTS+BGM primero, SFX una vez que existan las pistas).
  • La generación de BGM se lanza desacoplada (bgm_pending: true) — ejecuta scripts/wait-bgm.mjs antes de ensamblar.
  • scripts/heygen-tts.mjs es una CLI de un solo uso sobre el mismo código (un texto → wav + palabras) para cuando solo necesitas TTS de HeyGen sin un archivo de solicitud.

La lista completa de banderas + el esquema de audio_meta.json se encuentran en el encabezado de scripts/audio.mjs. Las referencias a continuación cubren los detalles del proveedor y los casos extremos detrás de cada capacidad.

Pre-vuelo — mostrar el estado de inicio de sesión antes de cualquier audio

Ejecuta esto siempre antes de generar voz o BGM — dentro de un flujo de trabajo completo o una solicitud única como "genera un BGM/locución". Que no haya credencial de HeyGen no es motivo para caer silenciosamente en motores locales: primero recomienda iniciar sesión y deja que el usuario decida. Ejecuta el pre-vuelo compartido y transmite su salida textualmente — no improvises tu propio mensaje de "clave faltante" y no ofrezcas escribir claves en un .env por repositorio:

npx hyperframes auth status
  • Con sesión iniciada → imprime la cuenta; continúa.
  • Sin sesión iniciada (exit 1 es esperado aquí — "no has iniciado sesión" es un estado normal, no un fallo) → imprime una guía de registro. Recomienda iniciar sesión: npx hyperframes auth login es OAuth del navegador — inicia sesión y crea una cuenta (siempre disponible a través de la CLI de este repositorio). Para usar una clave API existente de HeyGen (de app.heygen.com/settings/api), ejecuta npx hyperframes auth login --api-key — se guarda en ~/.heygen compartido (sin .env por repositorio). La salida también enumera los motores locales a los que caerán la voz/BGM y una pista de pip cuando falten dependencias. Transmite esta salida tal cual — no la parafrasees con tus propias palabras. Luego DETENTE y espera la decisión del usuario — iniciar sesión, o decir "adelante" / "local" para continuar sin conexión — antes de generar cualquier cosa. Este es un punto de decisión real, no una nota pasajera: no lo mezcles con otra pregunta y no continúes por tu cuenta. (Excepción: en modo autónomo / no interactivo, anota el estado y continúa sin conexión.)
  • npx hyperframes auth status --json devuelve { configured, recommended_action, offline_engines } para ramificación determinista.
  • Si la CLI no se puede ejecutar (no está en PATH y npx no puede descargarla) → igualmente recomienda iniciar sesión (npx hyperframes auth login) y DETENTE para la elección del usuario — no trates "sin credencial" como luz verde silenciosa para generación local.

La resolución de credenciales, la prioridad completa de claves y la lista de dependencias locales están en references/requirements.md.

Cadenas de proveedores (el detalle detrás del motor)

TTS — gana el primer proveedor disponible (el motor, o npx hyperframes tts "..."):

OrdenProveedorDetectado cuandoMarcas de tiempo por palabra
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginSí, nativas — pasa --words narration.words.json para capturarlas
2ElevenLabs$ELEVENLABS_API_KEY configuradaNo — encadena transcribe después
3Kokoro-82M (local, 54 voces)siempre (sin clave requerida)No — encadena transcribe después

La CLI publicada hyperframes tts suele ser la compilación solo local (su --help dice "Kokoro-82M", sin --provider/--words) y cae silenciosamente a Kokoro incluso con $HEYGEN_API_KEY configurada. Por eso la ruta HeyGen del motor es el autónomo scripts/heygen-tts.mjs (REST), NO la CLI; la CLI se usa solo para la ruta Kokoro. Consulta references/tts.md.

BGM y SFX — por defecto se recuperan de la biblioteca de audio de HeyGen (/v3/audio/sounds), misma credencial que HeyGen TTS, con la alternativa sin credencial del interruptor anterior:

ActivoTipo HeyGenLlega aAlternativa (sin credencial)
BGMmusicassets/bgm/track.mp3 (recuperación) · track.wav (generación)Generación con Lyria / MusicGen
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3Biblioteca local de 21 archivos (assets/sfx/* + manifest.json)

Consulta references/bgm.md y references/sfx.md.

Enrutamiento

TareaLee
El motor de audio — esquema de solicitud/meta, --only, el interruptorscripts/audio.mjs (comentario del encabezado)
npx hyperframes tts / heygen-tts.mjs — proveedores, voces, palabrasreferences/tts.md
BGM — recuperación de HeyGen + generación local con Lyria / MusicGenreferences/bgm.md
SFX — recuperación de HeyGen (min_score 0.4) + biblioteca local incluidareferences/sfx.md
npx hyperframes transcribe — Whisper, reglas de modelo, forma de salidareferences/transcribe.md
npx hyperframes remove-background — recortes transparentesreferences/remove-background.md
TTS → transcripción → subtítulos (sin locución grabada)references/tts-to-captions.md
Creación de subtítulos — detección de estilo, diseño, agrupación de palabras, salidareferences/captions/authoring.md
Manejo de transcripciones — formatos de entrada, puertas de calidad, limpieza, APIsreferences/captions/transcript-handling.md
Movimiento de subtítulos — karaoke, efectos de marcador, reactividad al audioreferences/captions/motion.md
Cachés de modelo, dependencias del sistema, solución de problemasreferences/requirements.md

Reglas no negociables

  • Un motor, sin copias independientes. Produce audio mediante scripts/audio.mjs (o heygen-tts.mjs para TTS HeyGen de un solo uso). No re-implementes TTS/BGM/SFX dentro de un flujo de trabajo — escribe un adaptador audio_request.json y llama al motor.
  • "HeyGen disponible" = una credencial resoluble, no la CLI. Todo el interruptor depende de heygenCredential(); la CLI publicada hyperframes tts puede ser solo Kokoro, y no existe ningún comando hyperframes bgm / hyperframes sfx.
  • Los IDs de voz son específicos del proveedor. am_michael es solo de Kokoro; los UUIDs de HeyGen no funcionan en Kokoro. Si pasas --voice, también fija --provider para evitar desviaciones silenciosas de proveedor cuando cambia el entorno del usuario.
  • Pasa siempre --model a transcribe. El valor predeterminado de la CLI small.en traduce silenciosamente audio que no está en inglés. Consulta references/transcribe.md → "Regla de idioma".
  • HeyGen devuelve marcas de tiempo por palabra; ElevenLabs / Kokoro no. El motor encadena transcribe automáticamente para estos dos últimos; de forma independiente, pasa --words a HeyGen o ejecuta transcribe contra el archivo de audio.
  • Los subtítulos consumen el formato de matriz plana de palabras con { id, text, start, end }. Consulta references/transcribe.md → "Forma de salida".
  • remove-background --background-output es un recorte, no un relleno. Para "escena sin la persona", se necesita una herramienta diferente. Consulta references/remove-background.md → "CUÁNDO NO es la herramienta adecuada".
  • BGM/SFX por defecto usan recuperación de HeyGen; la alternativa sin credencial es generación (BGM) o la biblioteca incluida (SFX). /audio/sounds clasifica por una consulta de texto — nombra los efectos de forma concreta (glass shatter, no dramatic sound); una falta de coincidencia salta, nunca bloquea la representación. Los SFX se sitúan a un volumen de ~0.35 bajo la voz + BGM. Consulta references/sfx.md / references/bgm.md.
  • Trata el HTML de subtítulos generado por el flujo de trabajo como salida. Para vídeos respaldados por plantillas, la fuente de la máscara reutilizable vive en .hyperframes/caption-skin.html y el script del flujo de trabajo escribe compositions/captions.html; no edites el compositions/captions.html generado para arreglar la máscara. Reconstruye a través del captions.mjs del flujo de trabajo, o usa el mecanismo de anulaciones explícitas de ese flujo de trabajo cuando esté presente.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Aseel1600/Edit01

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni). Supports gateways: HeyGen API, fal.ai API, Kling official direct API, and the Gemini API (Gemini Omni Flash).

Aseel1600/Edit01

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Aseel1600/Edit01

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Aseel1600/Edit01

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Aseel1600/Edit01

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Aseel1600/Edit01

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

Aseel1600/Edit01

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Aseel1600/Edit01

Generate expressive, multilingual narration with fish.audio (S1 / S2-generation models) and reuse cloned voices via reference_id. Use when the user prefers fish.audio/Fish Audio TTS, wants a specific playground voice model, or needs high-emotion voice-clone narration.

Aseel1600/Edit01

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Aseel1600/Edit01

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Aseel1600/Edit01

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Aseel1600/Edit01

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Aseel1600/Edit01

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Aseel1600/Edit01

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Aseel1600/Edit01

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Aseel1600/Edit01

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

Aseel1600/Edit01

Best practices for Remotion - Video creation in React

Aseel1600/Edit01

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Aseel1600/Edit01

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Aseel1600/Edit01

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

Skills relacionados