Communitygithub.com

1345AbhishekKumar/starter-supabase

Convierte una pista de música en un video HyperFrames sincronizado con el ritmo. Perfecto para videos musicales, slideshows o promociones cinéticas sin necesidad de activos externos.

¿Qué es starter-supabase?

Esta habilidad (skill) está diseñada para agentes de IA que necesitan generar videos profesionales sincronizados con el ritmo a partir de una pista de música. El flujo de trabajo es estrictamente secuencial: un único analizador de ritmo (analyze-beatgrid.py) procesa la pista una vez y genera un mapa de audio (`audiomap.json`). Luego, un orquestador divide la pista en fotogramas (frames) y asigna a cada uno un sub-agente dedicado que construye su composición HTML. Todo el proceso se gestiona desde la línea de comandos y está diseñado para plataformas como Claude Code, Cursor o Codex, utilizando un directorio de proyecto (`videos/<project>/`). La habilidad soporta tanto ritmos fuertes (corte por beat) como música más calmada (flujo por frase), y permite al usuario incluir imágenes o videos que se integran automáticamente en la misma cuadrícula de ritmo. No requiere ningún activo visual previo (la tipografía y las plantillas son suficientes), y el género del video final (lyric video, slideshow, promoción) emerge de las decisiones por fotograma.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1345AbhishekKumar/starter-supabase/tree/HEAD/.agents/skills/music-to-video

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

music-to-video — un flujo de trabajo de video sincronizado con el ritmo basado en música

Usa esta habilidad para convertir una pista de música en un video HyperFrames sincronizado con el ritmo. Analizas la pista una vez, diseñas los fotogramas, completas un plan por fotograma y construyes cada fotograma como una composición. La entrada es una pista de música más imágenes o videos opcionales del usuario — no hay narración ni captura de sitios web. La tipografía y las plantillas son la base (un video completo no necesita ningún activo); cualquier material que el usuario proporcione se corta en la misma cuadrícula de ritmo.

Tú eres el orquestador. Trabaja en videos/<project>/. Ejecuta los pasos en orden y pasa cada Puerta antes de avanzar. Dos pasos necesitan al usuario: Paso 3 (aprobación del plan) y Paso 6 (aprobación del renderizado). Haz cada paso tú mismo excepto el Paso 4, donde despachas un sub-agente por fotograma. Mantén las reglas de diseño y movimiento fuera de este archivo — residen en references/ y en el sub-agente frame-worker.

SKILL_DIR = este directorio de la habilidad. PROJECT_DIR = videos/<nombre-del-proyecto>/.

Flujo de trabajo: Paso 0 configuración → hyperframes.json + assets/bgm.mp3; Paso 1 análisis → audiomap.json; Paso 2 esqueleto → STORYBOARD.md (fotogramas, grupos TBD); Paso 3 plan → completar STORYBOARD.md + frame.md; Paso 4 construcción → compositions/frames/NN-*.html; Paso 5 ensamblaje → index.html; Paso 6 renderizado → renders/video.mp4.

Dos ideas que lo moldean todo

  • Un único analizador, y confías en él. analyze-beatgrid.py es el único analizador de ritmo — nunca vuelvas a medir los beats con otra herramienta o de oído. Su energía / densidad / rolls / onset / silencios son siempre fiables. Su bpm y beats_sec son fiables solo cuando la música es genuinamente rítmica; en música calmada la cuadrícula es un metrónomo impuesto por el rastreador, así que avanza por frases y energía en su lugar y nunca cortes abruptamente sobre ella. Decidir en qué caso te encuentras es el pacing de cada fotograma (Paso 2).
  • Un fotograma = un archivo; los grupos viven dentro. El Paso 2 divide la pista en fotogramas, y cada fotograma se convierte en un archivo de composición compositions/frames/NN-<frame_id>.html, construido por un frame-worker. Un fotograma puede subdividirse en grupos (cada uno una plantilla o una combinación de primitivas de movimiento). La densidad extra va dentro de un grupo, por lo que el número de fotogramas sigue tratamientos distintos, no los beats — una pista rápida no dispara el número de sub-agentes.

Paso 0: Configuración, BGM y entradas

Objetivo: Establecer la fuente de música, crear el proyecto HyperFrames y anotar cualquier material proporcionado por el usuario.

La música es la columna vertebral — establece una pista antes que cualquier otra cosa. Esta habilidad está ajustada para BGM rápida y de alta energía: una cuadrícula de ritmo fuerte impulsa los cortes (las pistas calmadas funcionan, pero avanza por frase en lugar de por ritmo). Si el usuario te ha dado audio — un archivo de música, o un video del que extraer el audio — úsalo. Si no, genera uno: elige el estado de ánimo de la descripción del usuario (por ejemplo, "synthwave intenso", "trap beat", "corporativo alegre") y produce una pista a través de /hyperframes-media (references/bgm.md — recuperación de HeyGen cuando está autenticado, si no, Lyria / MusicGen local; ElevenLabs u otro generador también funciona). Antes de generar, ejecuta npx hyperframes auth status y transmite su salida textualmente (no la parafrasees ni la reescribas) — muestra si el BGM proviene de HeyGen o de MusicGen local y, si no has iniciado sesión, cómo hacerlo. Si no has iniciado sesión, DETENTE y espera a que el usuario elija — iniciar sesión, o continuar sin conexión con MusicGen local — antes de generar la pista; no escribas claves en un .env por repositorio. (En modo autónomo, anota el estado y continúa sin conexión). Consulta /hyperframes-media → Preflight para obtener la guía canónica. De cualquier manera, la pista termina en assets/bgm.mp3. Almacena las imágenes o videos proporcionados por el usuario para que los fotogramas puedan integrarlos en la cuadrícula de ritmo; de lo contrario, la tipografía lleva todo el video.

Inicializa solo si falta hyperframes.json. Nombra <project> a partir del resumen en kebab-case, como midnight-drive-loop — nunca una marca de tiempo. init comprueba las habilidades instaladas contra las últimas en GitHub y actualiza el conjunto global si alguna está desactualizada.

npx hyperframes init "videos/<project>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<user-music>" "$PROJECT_DIR/assets/bgm.mp3"   # extrae primero de un video si es necesario
# solo si el usuario te ha dado imágenes/videos:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public

La marca (fuente + paleta) se elige en el Paso 3, no aquí. No elijas un género o un tipo de pista por adelantado — los activos son solo un ingrediente opcional, y el género surge de las decisiones por fotograma.

Puerta: hyperframes.json + assets/bgm.mp3 existen; se anotan la relación de aspecto / duración / fps y (si los hay) el inventario de activos.


Paso 1: Analizar la música

Objetivo: Producir el único análisis de temporización canónico sobre el que se construye todo el video.

analyze-beatgrid.py es el único analizador de ritmo — nunca vuelvas a medir los beats con otra herramienta o de oído. Lee la pista una vez y escribe audiomap.json: fases de energía (nivel / densidad / sensación), onset + onset_rate, rolls, silencios, hard_stops, key_moments, frases, tempo / cuadrícula y audio.duration_sec. Es determinista — el mismo archivo da siempre el mismo mapa. La mayoría de los campos son fiables en cualquier música; bpm y beats_sec son fiables solo cuando la música es genuinamente rítmica, y juzgar eso es la decisión que tomas en el Paso 2.

Requisitos previos: Python 3 con librosa, numpy y soundfile disponibles. Si la importación falla, instálalos en el entorno Python activo antes de ejecutar el analizador:

python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
  -o "$PROJECT_DIR/audiomap.json" --print

Puerta: audiomap.json existe; audio.duration_sec es conocido.


Paso 2: Esqueleto de fotogramas (solo estructura)

Objetivo: Leer la música y diseñar los fotogramas — el esqueleto de STORYBOARD.md.

Lee references/frame-skeleton.md. Convierte audiomap.json en el esqueleto de STORYBOARD.md tú mismo — no hay JSON intermedio. Divide la pista en fotogramas en los cambios musicales reales (hard_stops, SURGE / DROP key_moments, los bordes de un roll, un tramo sin onset, un gran salto de energía), ajustando cada límite a un ancla del mapa de audio. Para cada fotograma establece span_sec, pacing (el veredicto de la llamada de confianza del Paso 1 — beat_cut cuando la cuadrícula es real, phrase_flow cuando es un metrónomo impuesto sobre música calmada), mood y un feel de una línea (la situación musical simple que el Paso 3 compara con una plantilla). Solo clasifica y diseña aquí: deja los ### Groups de cada fotograma como TBD (Paso 3) y el style del frontmatter en blanco — sin plantillas, texto, color o fuentes. Espera entre 1 y 6 fotogramas.

Puerta: los fotogramas cubren toda la pista (el primero en 0, el último en duration_s); cada uno lleva span_sec + pacing + mood + feel; todos los ### Groups son TBD sin contenido.


Paso 3: Completar el plan (con puerta de usuario)

Objetivo: Convertir el esqueleto en un STORYBOARD.md completo y aprobado.

Lee references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md y montage.md (solo si el usuario ha proporcionado activos). Editando el mismo archivo en el lugar, haz dos cosas:

  1. Elige la marca. Selecciona un preset de ../hyperframes-creative/frame-presets/ usando la tabla en ../hyperframes-creative/references/design-spec.md (que coincida con el estado de ánimo de la pista; solo importan sus fuentes y colores — las plantillas son dueñas de la composición). Cópialo en frame.md sin modificar y completa el style del frontmatter (fuente + una paleta de ≤4–6 muestras) a partir de él.
  2. Completa cada fotograma. Decide sus grupos y dale a cada uno un tratamiento: una plantilla coincidente del catálogo (con parámetros vinculados y anclas reales del mapa de audio), una composición libre del catálogo de primitivas, o un tratamiento de activos que obedezca el pacing. Escribe el texto. Tú posees el QUÉ (plantilla / primitivas + contenido + anclas); el frame-worker posee el CÓMO — nunca escribas interpolaciones de milisegundos en el storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates

Corrige cada ✗ (errores graves: discrepancia de duración, fotogramas que no cubren la pista, falta de src); las advertencias son de mejor esfuerzo. Luego muestra al usuario un resumen fotograma por fotograma e itera hasta que lo apruebe.

Puerta: frame.md es una copia textual del preset; validate-plan.mjs sale con 0; el usuario ha aprobado el plan.


Paso 4: Construir fotogramas a partir del plan

Objetivo: Construir cada fotograma como un archivo de composición independiente.

Crea compositions/frames/. Lee sub-agents/frame-worker.md y ../hyperframes-core/references/subagent-dispatch.md. Despacha un frame-worker por fotograma, en paralelo cuando sea posible (de lo contrario, en oleadas). Cada trabajador recibe exactamente un fotograma y este contexto:

PROJECT_DIR: <ruta absoluta>
frame_id: <NN-frame_id>              # = el nombre del archivo del fotograma, ej. 02-f2; el id de la composición
Tu bloque: el bloque `## Frame N — <frame_id>` en PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materiales: para cada grupo, <SKILL_DIR>/references/templates/<id>/index.html (plantillas) y
           <SKILL_DIR>/references/motion-primitives/<id>/ (libre); assets/ almacenados (grupos de activos)
Contratos: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Lienzo: <w>×<h>   Pacing: <beat_cut|phrase_flow>
Escribir en: PROJECT_DIR/compositions/frames/<frame_id>.html

El trabajador bifurca los materiales citados, convierte cada ancla a segundos locales del fotograma (local_t = track_t − span_sec[0]), bloquea sus grupos con cortes de 0 ms y escribe un archivo de fotograma seguro para la búsqueda. El trabajador nunca ejecuta el CLI de hyperframes — esos comandos operan sobre el proyecto ensamblado, que aún no existe, por lo que informarían sobre los archivos incorrectos. El trabajador solo escribe según el contrato y se detiene; tú verificas después del ensamblaje (Paso 6). A medida que cada trabajador regresa, puedes confirmar que su archivo ha aterrizado en el disco.

Puerta: cada fotograma tiene su compositions/frames/NN-*.html en el disco.


Paso 5: Ensamblar

Objetivo: Conectar los fotogramas construidos + el BGM en el index.html reproducible.

assemble-index.mjs es determinista — sin subagente, sin juicio. Hace referencia a cada archivo de fotograma en su data-start acumulativo, monta assets/bgm.mp3 en la pista 11 y corta en seco de fotograma a fotograma (los fotogramas cubren la pista sin espacios, por lo que no hay inyector de transiciones).

node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"

Corrige cualquier ✗ que informe — un archivo de fotograma faltante o en blanco significa que ese trabajador escribió un archivo parcial; redespáchalo (Paso 4) y vuelve a ensamblar.

Puerta: index.html existe; la duración total == audiomap.audio.duration_sec.


Paso 6: Verificar y renderizar

Objetivo: Verificar el video ensamblado, obtener la aprobación del usuario y renderizar el MP4 final.

Ejecuta el CLI en el proyecto ensamblado — esa es la unidad correcta (los trabajadores por fotograma no pudieron ejecutarlo). lint comprueba la estructura, validate ejecuta Chrome sin cabeza (detectando errores JS y activos faltantes), inspect captura fotogramas.

( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )

Inspecciona en t=0, al inicio de cada fotograma, el DROP / SURGE más fuerte, cada hard_stops[].t y el fotograma final. En caso de fallo, haz la corrección segura más barata tú mismo: edita el compositions/frames/NN-*.html problemático. Nunca cambies la duración o la temporización del audio para ocultar un problema de sincronización. Una vez que las puertas pasen, pausa para la revisión del usuario, luego renderiza solo con aprobación:

( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )

Puerta: lint / validate / inspect pasaron; el usuario aprobó; renders/video.mp4 existe con audio, duración == audiomap.audio.duration_sec. La respuesta final indica la ruta del MP4 y la duración.


Tabla de reanudación

TienesContinúa desde
Solo assets/bgm.mp3Paso 1
audiomap.jsonPaso 2
STORYBOARD.md (esqueleto)Paso 3
STORYBOARD.md (completo)Paso 4
todos los archivos de fotogramasPaso 5
index.htmlPaso 6

Referencia rápida

Formatos: apaisado 1920x1080 por defecto; retrato 1080x1920; cuadrado 1080x1080. Establece el lienzo una vez en el frontmatter del storyboard (canvas: { w, h, fps }).

Scripts en scripts/: analyze-beatgrid.py (el único analizador), validate-plan.mjs (verificación del plan), assemble-index.mjs (ensamblaje del índice), stage-assets.mjs (almacenar medios del usuario), lib/storyboard.mjs (analizador sintáctico proveído). Todo lo demás es el CLI de hyperframes.

LeeCuándo
references/frame-skeleton.mdPaso 2: lee la música, diseña los fotogramas, establece el pacing
references/planning.md · storyboard-format.mdPaso 3: elige la marca, completa cada fotograma, escribe el plan
references/template-catalog.mdPaso 3: elige una plantilla por grupo
references/motion-primitive-catalog.mdPaso 3: elige una primitiva de movimiento o compone libremente
references/montage.mdPaso 3: solo si el usuario proporcionó activos
sub-agents/frame-worker.mdPaso 4: construye cada fotograma como archivo HTML
../hyperframes-core/references/subagent-dispatch.mdPaso 4: despacha frame-workers

Individual skills in this repo

This repo contains 13 individual skills — each has its own dedicated page.

1345AbhishekKumar/starter-supabase

Add captions to a talking-head video. ONE catalog (CATALOG.md) of 32 visual identities behind two engines: column-flow (captions composited INTO the scene — matte occlusion + mix-blend; cream/ink/editorial/keynote/documentary/loud/neon/glitch/chrome/velocity) and themed constitutions (anchor/ordnance/terminal/neonsign/stardust/stomp/scoreboard/transit/vhs/arcade/dossier/laser/thunder/hologram/biolume/aurora/spectrum/papercut/popup/chalkboard/graffiti/brush/inkwater/ransom/lastpage/nightcity — e.g. a glyph-decode climax, a neon sign WRITTEN stroke by stroke, or the quiet `anchor` rail default). Route by identity, never by mode. Trigger on "captions/subtitles", "embed/cinematic captions", "VFX captions", "炸/特效/酷炫字幕", a named identity, or top-tier motion-graphics asks. Embedding every word is wrong for most talking-head content — `anchor` is the verbatim default. Pipeline: transcription → hyperframes remove-background matting → HTML render → ffmpeg overlay. Requires hyperframes and a single-subject clip.

1345AbhishekKumar/starter-supabase

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

1345AbhishekKumar/starter-supabase

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

1345AbhishekKumar/starter-supabase

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

1345AbhishekKumar/starter-supabase

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1345AbhishekKumar/starter-supabase

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1345AbhishekKumar/starter-supabase

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

1345AbhishekKumar/starter-supabase

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1345AbhishekKumar/starter-supabase

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

1345AbhishekKumar/starter-supabase

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

1345AbhishekKumar/starter-supabase

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /website-to-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

1345AbhishekKumar/starter-supabase

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

1345AbhishekKumar/starter-supabase

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Skills relacionados