Communitygithub.com

1345AbhishekKumar/starter-supabase

Activos de audio y medios para composiciones HyperFrames, producidos por un motor de audio compartido (`scripts/audio.mjs`) — TTS multi-proveedor (HeyGen / ElevenLabs / Kokoro local), música de fondo + efectos de sonido (recuperación de la biblioteca de audio de HeyGen por defecto, con generación local Lyria / MusicGen BGM y una biblioteca SFX incluida como alternativa sin credenciales), transcripción Whisper, eliminación de fondo y creación de subtítulos. Útil para voz en off / TTS, BGM, SFX / efectos de sonido, transcripción, subtítulos / leyendas / letras / karaoke / estilo por palabra, selección de voz y proveedor, y generación de indicaciones de estado de ánimo musical.

¿Qué es starter-supabase?

Este skill para agentes de IA (compatible con Claude Code, Cursor, Codex) proporciona un motor de audio unificado para composiciones HyperFrames. Su función principal es generar y gestionar todos los activos de audio y medios necesarios: voz en off mediante texto a voz (TTS), música de fondo (BGM), efectos de sonido (SFX), transcripción, subtítulos y eliminación de fondos. El motor central es `scripts/audio.mjs`, que recibe un archivo `audio_request.json` y produce `audio_meta.json` con los activos resultantes. Soporta múltiples proveedores de TTS (HeyGen, ElevenLabs, Kokoro local) y se degrada de forma inteligente según la disponibilidad de credenciales: si hay credencial de HeyGen, se usa para TTS, BGM y SFX; si no, se recurre a motores locales como Lyria/MusicGen para BGM y una biblioteca SFX incluida. El skill también incluye herramientas para transcripción con Whisper y eliminación de fondos. Es especialmente útil para desarrolladores que crean aplicaciones multimedia interactivas o contenido de video, ya que centraliza la producción de audio y evita duplicar lógica en los flujos de trabajo. Se integra perfectamente con el ecosistema HyperFrames y puede usarse tanto en flujos completos como en invocaciones individuales.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1345AbhishekKumar/starter-supabase/tree/HEAD/.agents/skills/hyperframes-media

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

HyperFrames Media

Crea los activos de audio y medios que necesita una composición: voz en off (TTS), música de fondo + efectos de sonido, transcripción, subtítulos, eliminación de fondo — luego consume y anima esos datos en HTML. Para colocar activos en composiciones, consulta hyperframes-core.

El motor de audio — una fuente para TTS · BGM · SFX

Los flujos de trabajo NO crean audio manualmente ni utilizan copias de proveedores. Hay un solo motor — scripts/audio.mjs — que toma un audio_request.json neutral y escribe audio_meta.json (además de activos bajo assets/voice|bgm|sfx):

# <MEDIA_DIR> = directorio de este skill
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Las tres capacidades se degradan según UN solo interruptor — si hay una credencial de HeyGen (resuelta desde $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, no la CLI):

CapacidadCredencial de HeyGen presenteausente
TTSHeyGen Starfish REST (marcas de tiempo nativas por palabra)→ ElevenLabs → Kokoro (encadena transcribe para palabras)
BGMRecuperación de música de HeyGenLyria → MusicGen generación local (desacoplada)
SFXRecuperación de efectos de sonido de HeyGen (min_score 0.4)biblioteca incluida de 21 archivos (assets/sfx/)
  • Solicitud (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id vincula cada línea al modelo del llamante (un número de fotograma, un ID de escena, …). bgm.mode = retrieve | generate | none; omítelo para automático (recuperar cuando hay credencial, si no generar). Un retrieve explícito es estricto — salta en lugar de iniciar una generación desacoplada (para llamantes sin un paso wait-bgm).
  • Salida (audio_meta.json, con claves por id): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx ejecuta un subconjunto y fusiona en un --out existente (p. ej., TTS+BGM temprano, SFX una vez que existen las señales).
  • La generación de BGM se inicia desacoplada (bgm_pending: true) — ejecuta scripts/wait-bgm.mjs antes de ensamblar.
  • scripts/heygen-tts.mjs es una CLI de un solo uso sobre el mismo código (un texto → wav + palabras) para cuando solo necesitas TTS de HeyGen sin un archivo de solicitud.

La lista completa de banderas y el esquema de audio_meta.json se encuentran en el encabezado de scripts/audio.mjs. Las referencias a continuación cubren los detalles del proveedor y los casos extremos detrás de cada capacidad.

Verificación previa — muestra el estado de inicio de sesión antes de cualquier audio

Ejecuta esto siempre antes de generar voz o BGM — dentro de un flujo de trabajo completo o una solicitud única de "genera un BGM/voz en off". La ausencia de credencial de HeyGen no es una razón para recurrir silenciosamente a motores locales: primero recomienda iniciar sesión y deja que el usuario decida. Ejecuta la verificación previa compartida y transmite su salida textualmente — no improvises tu propio mensaje de "clave faltante" y no ofrezcas escribir claves en un .env por repositorio:

npx hyperframes auth status
  • Con sesión iniciada → imprime la cuenta; continúa.
  • Sin sesión iniciada (exit 1 se espera aquí — "no ha iniciado sesión" es un estado normal, no un fallo) → imprime una guía de registro primero. Recomienda iniciar sesión: npx hyperframes auth login es OAuth de navegador — inicia sesión y crea una cuenta (siempre disponible a través de la CLI de este repositorio). Para usar una clave API de HeyGen existente (de app.heygen.com/settings/api), ejecuta npx hyperframes auth login --api-key — se guarda en ~/.heygen compartido (sin .env por repositorio). La salida también enumera los motores locales a los que recurrirá la voz/BGM y una sugerencia pip cuando faltan dependencias. Transmite esta salida tal cual — no la parafrasees con tus propias palabras. Luego DETENTE y espera a que el usuario elija — iniciar sesión, o decir "adelante" / "local" para continuar sin conexión — antes de generar cualquier cosa. Este es un punto de decisión real, no una nota pasajera: no lo incluyas en otra pregunta y no continues por tu cuenta. (Excepción: en modo autónomo / no interactivo, anota el estado y continúa sin conexión.)
  • npx hyperframes auth status --json devuelve { configured, recommended_action, offline_engines } para ramificación determinista.
  • Si la CLI no puede ejecutarse (no está en PATH y npx no puede obtenerla) → aún así recomienda iniciar sesión (npx hyperframes auth login) y DETENTE para la elección del usuario — no trates "sin credencial" como una luz verde silenciosa para generación local.

La resolución de credenciales, la prioridad completa de claves y la lista de dependencias locales están en references/requirements.md.

Cadenas de proveedores (el detalle detrás del motor)

TTS — el primer proveedor disponible gana (el motor, o npx hyperframes tts "..."):

OrdenProveedorDetectado cuandoMarcas de tiempo por palabra
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginSí, nativas — pasa --words narration.words.json para capturarlas
2ElevenLabs$ELEVENLABS_API_KEY establecidaNo — encadena transcribe después
3Kokoro-82M (local, 54 voces)siempre (sin clave requerida)No — encadena transcribe después

La CLI publicada hyperframes tts suele ser la compilación solo local (su --help dice "Kokoro-82M", sin --provider/--words) y recurre silenciosamente a Kokoro incluso con $HEYGEN_API_KEY establecida. Por eso la ruta de HeyGen del motor es scripts/heygen-tts.mjs autocontenido (REST), NO la CLI; la CLI se usa solo para la ruta de Kokoro. Consulta references/tts.md.

BGM y SFX — por defecto se recuperan de la biblioteca de audio de HeyGen (/v3/audio/sounds), misma credencial que HeyGen TTS, con la alternativa sin credencial del interruptor anterior:

ActivoTipo de HeyGenDestinoAlternativa (sin credencial)
BGMmusicassets/bgm/track.mp3 (recuperar) · track.wav (generar)Lyria / MusicGen generación
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3biblioteca incluida de 21 archivos (assets/sfx/* + manifest.json)

Consulta references/bgm.md y references/sfx.md.

Enrutamiento

TareaLee
El motor de audio — esquema de solicitud/meta, --only, el interruptorscripts/audio.mjs (comentario del encabezado)
npx hyperframes tts / heygen-tts.mjs — proveedores, voces, palabrasreferences/tts.md
BGM — recuperación de HeyGen + generación local Lyria / MusicGenreferences/bgm.md
SFX — recuperación de HeyGen (min_score 0.4) + biblioteca local incluidareferences/sfx.md
npx hyperframes transcribe — Whisper, reglas de modelo, forma de salidareferences/transcribe.md
npx hyperframes remove-background — recortes transparentesreferences/remove-background.md
TTS → transcripción → subtítulos (sin voz en off grabada)references/tts-to-captions.md
Creación de subtítulos — detección de estilo, diseño, agrupación de palabras, salidareferences/captions/authoring.md
Manejo de transcripciones — formatos de entrada, controles de calidad, limpieza, APIsreferences/captions/transcript-handling.md
Movimiento de subtítulos — karaoke, efectos de marcador, audio-reactivoreferences/captions/motion.md
Cachés de modelo, dependencias del sistema, solución de problemasreferences/requirements.md

Reglas no negociables

  • Un motor, sin copias de proveedores. Produce audio mediante scripts/audio.mjs (o heygen-tts.mjs para TTS HeyGen de un solo uso). No reimplementes TTS/BGM/SFX dentro de un flujo de trabajo — escribe un adaptador audio_request.json y llama al motor.
  • "HeyGen disponible" = una credencial resoluble, no la CLI. Todo el interruptor depende de heygenCredential(); la CLI publicada hyperframes tts puede ser solo Kokoro, y no hay ningún comando hyperframes bgm / hyperframes sfx.
  • Los IDs de voz son específicos del proveedor. am_michael es solo de Kokoro; los UUID de HeyGen no funcionan en Kokoro. Si pasas --voice, también fija --provider para evitar una deriva silenciosa de proveedor cuando cambia el entorno del usuario.
  • Pasa siempre --model a transcribe. El valor predeterminado de la CLI small.en traduce silenciosamente audio no inglés. Consulta references/transcribe.md → "Regla de idioma".
  • HeyGen devuelve marcas de tiempo por palabra; ElevenLabs / Kokoro no. El motor encadena transcribe automáticamente para los dos últimos; de forma independiente, pasa --words a HeyGen o ejecuta transcribe contra el archivo de audio.
  • Los subtítulos consumen el formato de matriz plana de palabras con { id, text, start, end }. Consulta references/transcribe.md → "Forma de salida".
  • remove-background --background-output es un recorte de agujero, no un relleno. Para "escena sin la persona", se necesita una herramienta diferente. Consulta references/remove-background.md → "Cuándo NO es la herramienta adecuada".
  • BGM/SFX por defecto se recuperan de HeyGen; la alternativa sin credencial es generación (BGM) o la biblioteca incluida (SFX). /audio/sounds clasifica por una consulta de texto — nombra los efectos de forma concreta (glass shatter, no dramatic sound); una falta de coincidencia salta, nunca bloquea el renderizado. Los SFX se sitúan a un volumen de ~0.35 bajo voz + BGM. Consulta references/sfx.md / references/bgm.md.
  • Trata el HTML de subtítulos del flujo de trabajo como salida generada. Para videos respaldados por plantillas, la fuente de la piel reutilizable vive en .hyperframes/caption-skin.html y el script del flujo de trabajo escribe compositions/captions.html; no edites el compositions/captions.html generado para corregir la piel. Reconstruye mediante captions.mjs del flujo de trabajo, o usa el mecanismo de anulaciones explícitas de ese flujo de trabajo cuando esté presente.

Individual skills in this repo

This repo contains 13 individual skills — each has its own dedicated page.

1345AbhishekKumar/starter-supabase

Add captions to a talking-head video. ONE catalog (CATALOG.md) of 32 visual identities behind two engines: column-flow (captions composited INTO the scene — matte occlusion + mix-blend; cream/ink/editorial/keynote/documentary/loud/neon/glitch/chrome/velocity) and themed constitutions (anchor/ordnance/terminal/neonsign/stardust/stomp/scoreboard/transit/vhs/arcade/dossier/laser/thunder/hologram/biolume/aurora/spectrum/papercut/popup/chalkboard/graffiti/brush/inkwater/ransom/lastpage/nightcity — e.g. a glyph-decode climax, a neon sign WRITTEN stroke by stroke, or the quiet `anchor` rail default). Route by identity, never by mode. Trigger on "captions/subtitles", "embed/cinematic captions", "VFX captions", "炸/特效/酷炫字幕", a named identity, or top-tier motion-graphics asks. Embedding every word is wrong for most talking-head content — `anchor` is the verbatim default. Pipeline: transcription → hyperframes remove-background matting → HTML render → ffmpeg overlay. Requires hyperframes and a single-subject clip.

1345AbhishekKumar/starter-supabase

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

1345AbhishekKumar/starter-supabase

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

1345AbhishekKumar/starter-supabase

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

1345AbhishekKumar/starter-supabase

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1345AbhishekKumar/starter-supabase

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1345AbhishekKumar/starter-supabase

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1345AbhishekKumar/starter-supabase

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

1345AbhishekKumar/starter-supabase

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

1345AbhishekKumar/starter-supabase

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

1345AbhishekKumar/starter-supabase

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /website-to-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

1345AbhishekKumar/starter-supabase

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

1345AbhishekKumar/starter-supabase

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Skills relacionados