Communitygithub.com

1345AbhishekKumar/starter-nextjs

Activos de audio y multimedia para composiciones HyperFrames, producidos por un motor de audio compartido (`scripts/audio.mjs`) — TTS multinube (HeyGen / ElevenLabs / Kokoro local), música de fondo + efectos de sonido (recuperación de la biblioteca de audio de HeyGen por defecto, con generación local Lyria / MusicGen BGM y una biblioteca SFX integrada como alternativa sin credenciales), transcripción Whisper, eliminación de fondo y creación de subtítulos. Útil para locuciones / TTS, BGM, SFX / efectos de sonido, transcripción, subtítulos / leyendas / letras / karaoke / estilo por palabra, selección de voz y proveedor, y solicitudes de estado de ánimo musical.

¿Qué es starter-nextjs?

Este skill para agentes de IA (como Claude Code, Cursor o Codex) centraliza toda la generación y manipulación de audio y medios visuales dentro del ecosistema HyperFrames. Su núcleo es un motor de audio unificado, `scripts/audio.mjs`, que evita la duplicación de lógica al procesar un archivo de solicitud JSON (`audio_request.json`) y producir metadatos (`audio_meta.json`) junto con los activos generados. El motor soporta una cadena de proveedores para Texto a Voz (TTS) que prioriza HeyGen (con marcas de tiempo de palabras nativas), seguido de ElevenLabs y el modelo local Kokoro-82M. Para la música de fondo (BGM) y los efectos de sonido (SFX), el motor utiliza por defecto la recuperación de la biblioteca de audio de HeyGen, pero puede recurrir a la generación local (Lyria/MusicGen) o a una biblioteca SFX empaquetada si no hay credenciales de HeyGen disponibles. Además, el skill integra transcripción con Whisper, eliminación de fondos de imágenes y un completo sistema de creación de subtítulos con soporte para karaoke y animaciones. Una regla fundamental es ejecutar una verificación de estado de autenticación (`npx hyperframes auth status`) antes de cualquier generación de audio para informar al usuario sobre la disponibilidad de credenciales y darle la opción de continuar en modo local o autenticarse, evitando así silencios y fallos inesperados.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1345AbhishekKumar/starter-nextjs/tree/HEAD/.agents/skills/hyperframes-media

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

HyperFrames Media

Cree los activos de audio y multimedia que necesita una composición: locuciones (TTS), música de fondo + efectos de sonido, transcripción, subtítulos, eliminación de fondo — y luego consuma y anime esos datos en HTML. Para colocar activos en composiciones, consulte hyperframes-core.

El motor de audio — una única fuente para TTS · BGM · SFX

Los flujos de trabajo NO implementan audio a mano ni distribuyen copias. Hay un único motor — scripts/audio.mjs — que toma un audio_request.json neutral y escribe audio_meta.json (además de los activos en assets/voice|bgm|sfx):

# <MEDIA_DIR> = directorio de este skill
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Las tres capacidades se degradan según UN SOLO INTERRUPTOR — si hay una credencial de HeyGen presente (resuelta desde $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, no desde la CLI):

CapacidadCredencial HeyGen presenteausente
TTSHeyGen Starfish REST (marcas de tiempo de palabras nativas)→ ElevenLabs → Kokoro (encadenar transcribe para palabras)
BGMRecuperación de música de HeyGenGeneración local Lyria → MusicGen (desacoplada)
SFXRecuperación de efectos de sonido de HeyGen (min_score 0.4)Biblioteca empaquetada de 21 archivos (assets/sfx/)
  • Solicitud (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id vincula cada línea al modelo del invocador (un número de fotograma, un ID de escena, …). bgm.mode = retrieve | generate | none; omitir para automático (recuperar cuando hay credenciales, si no, generar). Un retrieve explícito es estricto — se salta en lugar de iniciar una generación desacoplada (para invocadores sin paso wait-bgm).
  • Salida (audio_meta.json, indexado por id): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx ejecuta un subconjunto y fusiona con un --out existente (p. ej., TTS+BGM temprano, SFX una vez que existan las pistas).
  • La generación de BGM se lanza desacoplada (bgm_pending: true) — ejecute scripts/wait-bgm.mjs antes de ensamblar.
  • scripts/heygen-tts.mjs es una CLI de un solo disparo sobre el mismo código (un texto → wav + palabras) para cuando solo se necesita TTS de HeyGen sin un archivo de solicitud.

La lista completa de banderas y el esquema de audio_meta.json se encuentran en el encabezado de scripts/audio.mjs. Las referencias a continuación cubren los detalles de los proveedores y los casos límite detrás de cada capacidad.

Verificación previa — mostrar estado de inicio de sesión antes de cualquier audio

Ejecute siempre esto antes de generar voz o BGM — dentro de un flujo de trabajo completo o una solicitud única de "generar un BGM/locución". La ausencia de credenciales de HeyGen no es motivo para recurrir silenciosamente a los motores locales: primero recomiende iniciar sesión y deje que el usuario decida. Ejecute la verificación previa compartida y transmita su salida textualmente — no improvise su propio mensaje de "clave faltante" y no ofrezca escribir claves en un .env por repositorio:

npx hyperframes auth status
  • Sesión iniciada → imprime la cuenta; proceda.
  • Sesión no iniciada (se espera exit 1 aquí — "no ha iniciado sesión" es un estado normal, no un fallo) → imprime instrucciones de registro primero. Recomiende iniciar sesión: npx hyperframes auth login es OAuth del navegador — inicia sesión y crea una cuenta (siempre disponible a través de la CLI de este repositorio). Para usar una clave API de HeyGen existente (de app.heygen.com/settings/api), ejecute npx hyperframes auth login --api-key — la guarda en ~/.heygen compartido (sin .env por repositorio). La salida también enumera los motores locales de voz/BGM a los que se recurrirá y una pista de pip cuando faltan dependencias. Transmita esta salida tal cual — no la parafrasee con sus propias palabras. Luego PARE y espere a que el usuario elija — iniciar sesión, o decir "adelante" / "local" para continuar sin conexión — antes de generar nada. Este es un punto de decisión real, no una nota pasajera: no lo integre en otra pregunta, y no continúe por su cuenta. (Excepción: en modo autónomo / no interactivo, anote el estado y continúe sin conexión).
  • npx hyperframes auth status --json devuelve { configured, recommended_action, offline_engines } para bifurcaciones deterministas.
  • Si la CLI no se puede ejecutar (no está en PATH y npx no puede obtenerla) → aún así recomiende iniciar sesión (npx hyperframes auth login) y PARE para la decisión del usuario — no trate "sin credencial" como una luz verde silenciosa para generación local.

La resolución de credenciales, la prioridad completa de claves y la lista de dependencias locales se encuentran en references/requirements.md.

Cadenas de proveedores (el detalle detrás del motor)

TTS — gana el primer proveedor disponible (el motor, o npx hyperframes tts "..."):

OrdenProveedorDetectado cuandoMarcas de tiempo de palabras
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginSí, nativas — pase --words narration.words.json para capturar
2ElevenLabs$ELEVENLABS_API_KEY establecidaNo — encadenar transcribe después
3Kokoro-82M (local, 54 voces)siempre (sin clave requerida)No — encadenar transcribe después

La CLI publicada hyperframes tts suele ser la compilación solo local (su --help dice "Kokoro-82M", sin --provider/--words) y recurre silenciosamente a Kokoro incluso con $HEYGEN_API_KEY establecida. Por eso la ruta HeyGen del motor es el scripts/heygen-tts.mjs autocontenido (REST), NO la CLI; la CLI se usa solo para la ruta Kokoro. Consulte references/tts.md.

BGM y SFX — por defecto se recuperan de la biblioteca de audio de HeyGen (/v3/audio/sounds), misma credencial que para TTS de HeyGen, con la alternativa sin credenciales del interruptor anterior:

ActivoTipo HeyGenDestinoAlternativa (sin credencial)
BGMmusicassets/bgm/track.mp3 (recuperar) · track.wav (generar)Generación Lyria / MusicGen
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3Biblioteca empaquetada de 21 archivos (assets/sfx/* + manifest.json)

Consulte references/bgm.md y references/sfx.md.

Enrutamiento

TareaLeer
El motor de audio — esquema solicitud/meta, --only, el interruptorscripts/audio.mjs (comentario del encabezado)
npx hyperframes tts / heygen-tts.mjs — proveedores, voces, palabrasreferences/tts.md
BGM — recuperación HeyGen + generación local Lyria / MusicGenreferences/bgm.md
SFX — recuperación HeyGen (min_score 0.4) + biblioteca local empaquetadareferences/sfx.md
npx hyperframes transcribe — Whisper, reglas de modelo, forma de salidareferences/transcribe.md
npx hyperframes remove-background — recortes transparentesreferences/remove-background.md
TTS → transcripción → subtítulos (sin locución grabada)references/tts-to-captions.md
Creación de subtítulos — detección de estilo, diseño, agrupación de palabras, salidareferences/captions/authoring.md
Manejo de transcripciones — formatos de entrada, controles de calidad, limpieza, APIsreferences/captions/transcript-handling.md
Movimiento de subtítulos — karaoke, efectos de marcador, audio-reactivoreferences/captions/motion.md
Cachés de modelo, dependencias del sistema, solución de problemasreferences/requirements.md

Reglas no negociables

  • Un solo motor, sin copias distribuidas. Produzca audio a través de scripts/audio.mjs (o heygen-tts.mjs para TTS HeyGen de un solo uso). No reimplemente TTS/BGM/SFX dentro de un flujo de trabajo — escriba un adaptador audio_request.json y llame al motor.
  • "HeyGen disponible" = una credencial resoluble, no la CLI. Todo el interruptor depende de heygenCredential(); la CLI publicada hyperframes tts puede ser solo Kokoro, y no existe ningún comando hyperframes bgm / hyperframes sfx.
  • Los IDs de voz son específicos del proveedor. am_michael es solo Kokoro; los UUIDs de HeyGen no funcionan en Kokoro. Si pasa --voice, también fije --provider para evitar una deriva silenciosa del proveedor cuando cambie el entorno del usuario.
  • Pase siempre --model a transcribe. El valor por defecto de la CLI small.en traduce silenciosamente audio no inglés. Consulte references/transcribe.md → "Language Rule".
  • HeyGen devuelve marcas de tiempo de palabras; ElevenLabs / Kokoro no. El motor encadena transcribe automáticamente para estos dos últimos; de forma independiente, pase --words a HeyGen o ejecute transcribe contra el archivo de audio.
  • Los subtítulos consumen el formato de matriz plana de palabras con { id, text, start, end }. Consulte references/transcribe.md → "Output Shape".
  • remove-background --background-output es recorte de agujero, no relleno. Para "escena sin la persona", se necesita una herramienta diferente. Consulte references/remove-background.md → "When NOT the right tool".
  • BGM/SFX por defecto usan recuperación de HeyGen; la alternativa sin credenciales es generación (BGM) o la biblioteca empaquetada (SFX). /audio/sounds clasifica por una consulta de texto — nombre los efectos de forma concreta (glass shatter, no dramatic sound); una falta de coincidencia se salta, nunca bloquea la representación. Los SFX se sitúan en un volumen ~0.35 por debajo de voz + BGM. Consulte references/sfx.md / references/bgm.md.
  • Trate el HTML de subtítulos del flujo de trabajo como salida generada. Para videos respaldados por plantillas, la fuente de piel reutilizable reside en .hyperframes/caption-skin.html y el script del flujo de trabajo escribe compositions/captions.html; no edite el compositions/captions.html generado para arreglar la piel. Reconstruya a través del captions.mjs del flujo de trabajo, o use el mecanismo de anulaciones explícitas de ese flujo de trabajo cuando esté presente.

Individual skills in this repo

This repo contains 13 individual skills — each has its own dedicated page.

1345AbhishekKumar/starter-nextjs

Add captions to a talking-head video. ONE catalog (CATALOG.md) of 32 visual identities behind two engines: column-flow (captions composited INTO the scene — matte occlusion + mix-blend; cream/ink/editorial/keynote/documentary/loud/neon/glitch/chrome/velocity) and themed constitutions (anchor/ordnance/terminal/neonsign/stardust/stomp/scoreboard/transit/vhs/arcade/dossier/laser/thunder/hologram/biolume/aurora/spectrum/papercut/popup/chalkboard/graffiti/brush/inkwater/ransom/lastpage/nightcity — e.g. a glyph-decode climax, a neon sign WRITTEN stroke by stroke, or the quiet `anchor` rail default). Route by identity, never by mode. Trigger on "captions/subtitles", "embed/cinematic captions", "VFX captions", "炸/特效/酷炫字幕", a named identity, or top-tier motion-graphics asks. Embedding every word is wrong for most talking-head content — `anchor` is the verbatim default. Pipeline: transcription → hyperframes remove-background matting → HTML render → ffmpeg overlay. Requires hyperframes and a single-subject clip.

1345AbhishekKumar/starter-nextjs

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

1345AbhishekKumar/starter-nextjs

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

1345AbhishekKumar/starter-nextjs

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

1345AbhishekKumar/starter-nextjs

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1345AbhishekKumar/starter-nextjs

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1345AbhishekKumar/starter-nextjs

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1345AbhishekKumar/starter-nextjs

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

1345AbhishekKumar/starter-nextjs

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

1345AbhishekKumar/starter-nextjs

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

1345AbhishekKumar/starter-nextjs

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /website-to-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

1345AbhishekKumar/starter-nextjs

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

1345AbhishekKumar/starter-nextjs

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Skills relacionados