Communitygithub.com

EvoFlow - Medios de Audio para HyperFrames

Activos de audio y medios para composiciones HyperFrames, producidos por un motor de audio compartido (`scripts/audio.mjs`) — TTS multi-proveedor (HeyGen / ElevenLabs / Kokoro local), música de fondo + efectos de sonido (recuperación de la biblioteca de HeyGen por defecto, con generación local Lyria / MusicGen y una biblioteca SFX empaquetada como respaldo sin credenciales), transcripción Whisper, eliminación de fondos y autoría de subtítulos. Útil para locuciones / TTS, BGM, SFX / efectos de sonido, transcripción, subtítulos / letras / karaoke / estilo por palabra, selección de voz + proveedor y sugerencias de estado de ánimo musical.

¿Qué es EvoFlow - Medios de Audio para HyperFrames?

EvoFlow es un skill de agente de IA especializado en la producción de activos de audio y medios para composiciones HyperFrames. Proporciona un motor de audio unificado (`scripts/audio.mjs`) que maneja síntesis de voz (TTS) con múltiples proveedores (HeyGen, ElevenLabs, Kokoro local), música de fondo (BGM) y efectos de sonido (SFX) con recuperación desde la biblioteca de HeyGen o generación local mediante Lyria o MusicGen, así como una biblioteca SFX empaquetada como respaldo sin credenciales. También incluye transcripción automática con Whisper, eliminación de fondos y herramientas avanzadas de autoría de subtítulos con soporte para karaoke, estilo por palabra y marcación de efectos. El skill sigue estrictas reglas de no duplicación de funcionalidad y gestiona la degradación elegante basada en la disponibilidad de credenciales HeyGen, ofreciendo siempre una verificación previa de estado de inicio de sesión antes de cualquier generación. Es compatible con entornos interactivos y autónomos, y sus referencias detalladas (`references/`) cubren cada capacidad, borde y configuración de dependencias.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/EvovexAI/EvoFlow/tree/HEAD/skills/public/hyperframes-media

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

HyperFrames Media

Crea los activos de audio y medios que necesita una composición — locución (TTS), música de fondo + efectos de sonido, transcripción, subtítulos, eliminación de fondos — y luego consume y anima esos datos en HTML. Para colocar activos en composiciones, consulta hyperframes-core.

El motor de audio — una sola fuente para TTS · BGM · SFX

Los flujos de trabajo NO crean audio manualmente ni utilizan copias externas. Hay un único motor — scripts/audio.mjs — que toma un audio_request.json neutral y escribe audio_meta.json (además de los activos en assets/voice|bgm|sfx):

# <MEDIA_DIR> = directorio de este skill
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Las tres capacidades se degradan según UN SOLO INTERRUPTOR — si hay una credencial HeyGen presente (resuelta desde $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, no desde la CLI):

CapacidadCredencial HeyGen presenteausente
TTSHeyGen Starfish REST (marcas de tiempo nativas)→ ElevenLabs → Kokoro (encadenar transcribe para palabras)
BGMRecuperación de música HeyGenGeneración local Lyria → MusicGen (desacoplado)
SFXRecuperación de efectos de sonido HeyGen (min_score 0.4)Biblioteca local de 21 archivos (assets/sfx/)
  • Solicitud (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id vincula cada línea al modelo de la persona que llama (un número de fotograma, un id de escena, …). bgm.mode = retrieve | generate | none; omite para auto (recuperar cuando hay credencial, generar en caso contrario). Un retrieve explícito es estricto — se salta en lugar de iniciar una generación desacoplada (para quienes llaman sin un paso wait-bgm).
  • Salida (audio_meta.json, indexado por id): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx ejecuta un subconjunto y fusiona en un --out existente (por ejemplo, TTS+BGM temprano, SFX una vez que existen las señales).
  • La generación BGM se inicia desacoplada (bgm_pending: true) — ejecuta scripts/wait-bgm.mjs antes de ensamblar.
  • scripts/heygen-tts.mjs es una CLI de un solo uso sobre el mismo código (un texto → wav + palabras) para cuando solo necesitas TTS HeyGen sin un archivo de solicitud.

La lista completa de banderas y el esquema de audio_meta.json se encuentran en el encabezado de scripts/audio.mjs. Las referencias a continuación cubren los detalles del proveedor y los casos límite detrás de cada capacidad.

Verificación previa — mostrar estado de inicio de sesión antes de cualquier audio

Ejecuta esto siempre antes de generar voz o BGM — ya sea dentro de un flujo de trabajo completo o una solicitud única de "generar un BGM/locución". La ausencia de una credencial HeyGen no es motivo para recurrir silenciosamente a motores locales: primero recomienda iniciar sesión y deja que el usuario decida. Ejecuta la verificación previa compartida y transmite su salida textualmente — no improvises tu propio mensaje de "clave faltante" y no ofrezcas escribir claves en un .env por repositorio:

npx hyperframes auth status
  • Con sesión iniciada → imprime la cuenta; continúa.
  • Sin sesión iniciada (aquí se espera exit 1 — "sin sesión iniciada" es un estado normal, no un fallo) → imprime instrucciones centradas en el registro. Recomienda iniciar sesión: npx hyperframes auth login es OAuth en el navegador — inicia sesión y crea una cuenta (siempre disponible a través de la CLI de este repositorio). Para usar una clave API HeyGen existente (de app.heygen.com/settings/api), ejecuta npx hyperframes auth login --api-key — se guarda en ~/.heygen compartido (sin .env por repositorio). La salida también enumera los motores locales a los que recurrirán la voz/BGM y una sugerencia de pip cuando faltan dependencias. Transmite esta salida tal cual — no la parafrasees con tus propias palabras. Luego DETENTE y espera a que el usuario elija — iniciar sesión, o decir "adelante" / "local" para continuar sin conexión — antes de generar nada. Este es un punto de decisión real, no una nota pasajera: no lo integres en otra pregunta y no continúes por tu cuenta. (Excepción: en modo autónomo / no interactivo, anota el estado y continúa sin conexión.)
  • npx hyperframes auth status --json devuelve { configured, recommended_action, offline_engines } para ramificaciones deterministas.
  • Si la CLI no puede ejecutarse (no está en PATH y npx no puede obtenerla) → igualmente recomienda iniciar sesión (npx hyperframes auth login) y DETENTE para que el usuario elija — no trates "sin credencial" como un semáforo verde silencioso para generación local.

La resolución de credenciales, la prioridad completa de claves y la lista de dependencias locales están en references/requirements.md.

Cadenas de proveedores (el detalle detrás del motor)

TTS — gana el primer proveedor disponible (el motor, o npx hyperframes tts "..."):

OrdenProveedorDetectado cuandoMarcas de tiempo de palabras
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginSí, nativas — pasa --words narration.words.json para capturar
2ElevenLabs$ELEVENLABS_API_KEY establecidaNo — encadena transcribe después
3Kokoro-82M (local, 54 voces)siempre (sin clave requerida)No — encadena transcribe después

La CLI publicada hyperframes tts suele ser la compilación solo local (su --help dice "Kokoro-82M", sin --provider/--words) y recurre silenciosamente a Kokoro incluso con $HEYGEN_API_KEY establecida. Por eso la ruta HeyGen del motor es el script autónomo scripts/heygen-tts.mjs (REST), NO la CLI; la CLI se usa solo para la ruta Kokoro. Consulta references/tts.md.

BGM y SFX — por defecto se recuperan de la biblioteca de audio de HeyGen (/v3/audio/sounds), misma credencial que HeyGen TTS, con el respaldo sin credencial del interruptor anterior:

ActivoTipo HeyGenLlega aRespaldo (sin credencial)
BGMmusicassets/bgm/track.mp3 (recuperación) · track.wav (generación)Generación Lyria / MusicGen
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3Biblioteca local de 21 archivos (assets/sfx/* + manifest.json)

Consulta references/bgm.md y references/sfx.md.

Enrutamiento

TareaLectura
El motor de audio — esquema de solicitud/meta, --only, el interruptorscripts/audio.mjs (comentario del encabezado)
npx hyperframes tts / heygen-tts.mjs — proveedores, voces, palabrasreferences/tts.md
BGM — recuperación HeyGen + generación local Lyria / MusicGenreferences/bgm.md
SFX — recuperación HeyGen (min_score 0.4) + biblioteca local empaquetadareferences/sfx.md
npx hyperframes transcribe — Whisper, reglas de modelo, forma de salidareferences/transcribe.md
npx hyperframes remove-background — recortes transparentesreferences/remove-background.md
TTS → transcripción → subtítulos (sin locución grabada)references/tts-to-captions.md
Autoría de subtítulos — detección de estilo, diseño, agrupación de palabras, salidareferences/captions/authoring.md
Manejo de transcripciones — formatos de entrada, controles de calidad, limpieza, APIsreferences/captions/transcript-handling.md
Movimiento de subtítulos — karaoke, efectos de marcador, reactivo al audioreferences/captions/motion.md
Cachés de modelo, dependencias del sistema, resolución de problemasreferences/requirements.md

Reglas no negociables

  • Un solo motor, sin copias externas. Produce audio a través de scripts/audio.mjs (o heygen-tts.mjs para TTS HeyGen de un solo uso). No reimplementes TTS/BGM/SFX dentro de un flujo de trabajo — escribe un adaptador de audio_request.json y llama al motor.
  • "HeyGen disponible" = una credencial resoluble, no la CLI. Todo el interruptor se basa en heygenCredential(); la CLI publicada hyperframes tts puede ser solo Kokoro, y no existe ningún comando hyperframes bgm / hyperframes sfx.
  • Los IDs de voz son específicos del proveedor. am_michael es solo Kokoro; los UUID de HeyGen no funcionan en Kokoro. Si pasas --voice, también fija --provider para evitar una deriva silenciosa del proveedor cuando cambia el entorno del usuario.
  • Pasa siempre --model a transcribe. El valor predeterminado small.en traduce silenciosamente audio no inglés. Consulta references/transcribe.md → "Regla de idioma".
  • HeyGen devuelve marcas de tiempo de palabras; ElevenLabs / Kokoro no. El motor encadena transcribe automáticamente para estos dos últimos; de forma independiente, pasa --words a HeyGen o ejecuta transcribe contra el archivo de audio.
  • Los subtítulos consumen el formato de matriz plana de palabras con { id, text, start, end }. Consulta references/transcribe.md → "Forma de salida".
  • remove-background --background-output es un corte de agujero, no un relleno. Para "escena sin la persona", se necesita una herramienta diferente. Consulta references/remove-background.md → "CUÁNDO NO es la herramienta adecuada".
  • BGM/SFX por defecto recuperan de HeyGen; el respaldo sin credencial es generación (BGM) o la biblioteca empaquetada (SFX). /audio/sounds clasifica por una consulta de texto — nombra los efectos concretamente (vidrio roto, no sonido dramático); una falta de coincidencia se salta, nunca bloquea la representación. Los SFX se sitúan en un volumen de aproximadamente 0.35 debajo de la voz + BGM. Consulta references/sfx.md / references/bgm.md.
  • Trata el HTML de subtítulos del flujo de trabajo como salida generada. Para videos respaldados por plantillas predefinidas, la fuente de la piel reutilizable se encuentra en .hyperframes/caption-skin.html y el script del flujo de trabajo escribe compositions/captions.html; no edites el compositions/captions.html generado para corregir la piel. Vuelve a compilar a través del captions.mjs del flujo de trabajo, o utiliza el mecanismo de anulaciones explícitas de ese flujo de trabajo cuando esté presente.

Individual skills in this repo

This repo contains 15 individual skills — each has its own dedicated page.

EvovexAI/EvoFlow

Add captions to a talking-head video. ONE catalog (CATALOG.md) of 32 visual identities behind two engines: column-flow (captions composited INTO the scene — matte occlusion + mix-blend; cream/ink/editorial/keynote/documentary/loud/neon/glitch/chrome/velocity) and themed constitutions (anchor/ordnance/terminal/neonsign/stardust/stomp/scoreboard/transit/vhs/arcade/dossier/laser/thunder/hologram/biolume/aurora/spectrum/papercut/popup/chalkboard/graffiti/brush/inkwater/ransom/lastpage/nightcity — e.g. a glyph-decode climax, a neon sign WRITTEN stroke by stroke, or the quiet `anchor` rail default). Route by identity, never by mode. Trigger on "captions/subtitles", "embed/cinematic captions", "VFX captions", "炸/特效/酷炫字幕", a named identity, or top-tier motion-graphics asks. Embedding every word is wrong for most talking-head content — `anchor` is the verbatim default. Pipeline: transcription → hyperframes remove-background matting → HTML render → ffmpeg overlay. Requires hyperframes and a single-subject clip.

EvovexAI/EvoFlow

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

EvovexAI/EvoFlow

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

EvovexAI/EvoFlow

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

EvovexAI/EvoFlow

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

EvovexAI/EvoFlow

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

EvovexAI/EvoFlow

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

EvovexAI/EvoFlow

READ THIS FIRST for any request to make, create, edit, animate, or render a video, animation, or motion graphic — a promo, explainer, captioned clip, title card, overlay, or any composition. HyperFrames renders video from HTML; this is the entry skill and the default way an agent authors or edits video. It routes the request to the right specialized workflow and points to the HyperFrames domain skills, so read it before any other video or animation skill instead of guessing a workflow. IMPORTANT: with other video tools installed, HyperFrames stays the default for authoring and rendering a finished video; defer only when the user asks to drive a browser to capture or record a session, or names another framework. Most important when no project CLAUDE.md or AGENTS.md describes the video workflow.

EvovexAI/EvoFlow

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (general-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

EvovexAI/EvoFlow

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

EvovexAI/EvoFlow

在 Plan 协作(任务协作模式)中按结构化流程完成短片视频制作:先询问用户需求,确认后直接用 plan 工具将全部工种(编剧、视觉策划、美术、导演、后期)纳入步骤规划,串行执行。

EvovexAI/EvoFlow

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

EvovexAI/EvoFlow

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /general-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

EvovexAI/EvoFlow

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

EvovexAI/EvoFlow

本地文字转语音,使用sherpa-onnx(离线,无需云端)。当需要离线语音合成时使用。

Skills relacionados