De música a video — Un flujo de trabajo de un solo pase sincronizado con el ritmo
Usa esta habilidad para convertir una pista de música en un video HyperFrames sincronizado con el ritmo. Analizas la pista una vez, distribuyes los fotogramas, completas un plan por fotograma y construyes cada uno como una composición. La entrada es una pista de música más imágenes o videos opcionales del usuario — no hay narración ni captura de sitios web. La tipografía y las plantillas son la base (un video completo no necesita ningún activo); cualquier medio que el usuario proporcione se corta en la misma cuadrícula de ritmo.
Eres el orquestador. Trabaja en videos/<proyecto>/. Ejecuta los pasos en orden y pasa cada Puerta antes de continuar. Dos pasos necesitan al usuario: Paso 3 (aprobación del plan) y Paso 6 (aprobación del render). Haz tú mismo cada paso excepto el Paso 4, donde despachas un sub-agente por fotograma. Mantén las reglas de diseño y movimiento fuera de este archivo; están en referencias/ y el sub-agente frame-worker.
SKILL_DIR = directorio de esta habilidad. PROJECT_DIR = videos/<nombre-proyecto>/.
Flujo de trabajo: Paso 0 configuración → hyperframes.json + activos/bgm.mp3; Paso 1 análisis → audiomap.json; Paso 2 esqueleto → STORYBOARD.md (fotogramas, grupos TBD); Paso 3 plan → completar STORYBOARD.md + frame.md; Paso 4 construcción → composiciones/fotogramas/NN-*.html; Paso 5 ensamblaje → index.html; Paso 6 renderizado → renders/video.mp4.
Dos ideas que lo rigen todo
- Un analizador, y confías en él.
analyze-beatgrid.pyes el único analizador de ritmo — nunca vuelvas a medir ritmos con otra herramienta o de oído. Sus datos de energía/densidad/rodillos/ataques/silencios son siempre fiables. Subpmybeats_secson fiables solo cuando la música es genuinamente rítmica; en música calmada la cuadrícula es un metrónomo que el rastreador impuso, así que marca el ritmo por frases y energía y nunca cortes bruscamente con ella. Decidir en qué caso te encuentras es elpacingde cada fotograma (Paso 2). - Un fotograma = un archivo; los grupos viven dentro. El Paso 2 corta la pista en fotogramas, y cada fotograma se convierte en un archivo de composición
composiciones/fotogramas/NN-<id_fotograma>.html, construido por un frame-worker. Un fotograma puede subdividirse en grupos (cada uno una plantilla o una combinación de primitivas de movimiento). La densidad extra va dentro de un grupo, así que el recuento de fotogramas sigue tratamientos distintos, no golpes — una pista rápida no dispara el número de sub-agentes.
Paso 0: Configuración, BGM y entradas
Objetivo: Establecer la fuente de música, crear el proyecto HyperFrames y anotar cualquier medio proporcionado por el usuario.
La música es la columna vertebral — establece una pista antes que nada. Esta habilidad está optimizada para BGM rápido y de alta energía: una cuadrícula de ritmo fuerte impulsa los cortes (las pistas tranquilas funcionan, pero marca el ritmo por frases en lugar de golpes). Si el usuario te ha dado audio — un archivo de música, o un video del que extraer el audio — úsalo. Si no, genera uno: elige el estado de ánimo de la descripción del usuario (por ejemplo, "synthwave dinámico", "trap beat", "corporativo optimista") y produce una pista mediante /hyperframes-media (referencias/bgm.md — recuperación de HeyGen cuando hay credenciales, si no, Lyria/MusicGen local; ElevenLabs u otro generador también funciona). Antes de generar, ejecuta npx hyperframes auth status y transmite su salida textualmente (no la parafrasees ni la reescribas) — muestra si el BGM proviene de HeyGen o MusicGen local y, si no has iniciado sesión, cómo hacerlo. Si no has iniciado sesión, DETENTE y espera a que el usuario elija — iniciar sesión, o continuar sin conexión con MusicGen local — antes de generar la pista; no escribas claves en un .env por repositorio. (En modo autónomo, anota el estado y continúa sin conexión). Consulta /hyperframes-media → Preflight para obtener la guía canónica. De cualquier manera, la pista termina en activos/bgm.mp3. Organiza las imágenes o videos proporcionados por el usuario para que los fotogramas puedan incorporarlos en la cuadrícula de ritmo; de lo contrario, la tipografía lleva todo el video.
Inicializa solo si faltan hyperframes.json. Nombra <proyecto> a partir del resumen en kebab-case, por ejemplo, midnight-drive-loop — nunca una marca de tiempo. init comprueba las habilidades instaladas frente a las últimas en GitHub y actualiza el conjunto global si alguna está desactualizada.
npx hyperframes init "videos/<proyecto>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/activos" "$PROJECT_DIR/renders"
cp "<música-usuario>" "$PROJECT_DIR/activos/bgm.mp3" # extraer de un video primero si es necesario
# solo si el usuario te ha dado imágenes/videos:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public
La marca (fuente + paleta) se elige en el Paso 3, no aquí. No selecciones un género o un tipo de pista por adelantado; los activos son solo un ingrediente opcional, y el género surge de las elecciones por fotograma.
Puerta: hyperframes.json + activos/bgm.mp3 existen; se anotan aspecto/duración/fps y (si los hay) el inventario de activos.
Paso 1: Analizar la música
Objetivo: Producir el único análisis de sincronización canónico sobre el que se construye todo el video.
analyze-beatgrid.py es el único analizador de ritmo — nunca vuelvas a medir ritmos con otra herramienta o de oído. Lee la pista una vez y escribe audiomap.json: fases de energía (nivel/densidad/sensación), ataques + onset_rate, rodillos, silencios, hard_stops, key_moments, frases, tempo/cuadrícula y audio.duration_sec. Es determinista — el mismo archivo siempre da el mismo mapa. La mayoría de los campos son fiables en cualquier música; bpm y beats_sec son fiables solo cuando la música es genuinamente rítmica, y juzgar eso es la decisión que tomas en el Paso 2.
Requisitos previos: Python 3 con librosa, numpy y soundfile disponibles. Si la importación falla, instálalos en el entorno Python activo antes de ejecutar el analizador:
python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/activos/bgm.mp3" \
-o "$PROJECT_DIR/audiomap.json" --print
Puerta: audiomap.json existe; audio.duration_sec se conoce.
Paso 2: Esqueleto de fotogramas (solo estructura)
Objetivo: Leer la música y distribuir los fotogramas — el esqueleto de STORYBOARD.md.
Lee referencias/frame-esqueleto.md. Convierte audiomap.json en el esqueleto de STORYBOARD.md tú mismo — no hay JSON intermedio. Corta la pista en fotogramas en cambios musicales reales (hard_stops, key_moments SURGE/DROP, los bordes de un rodillo, un tramo sin ataques, un gran salto de energía), ajustando cada límite a un anclaje de audiomap. Para cada fotograma, establece span_sec, pacing (el veredicto de la llamada de confianza del Paso 1: beat_cut cuando la cuadrícula es real, phrase_flow cuando es un metrónomo impuesto en música tranquila), mood y un feel de una línea (la situación musical simple que el Paso 3 empareja con una plantilla). Solo clasifica y distribuye aquí: deja cada ### Grupos del fotograma como TBD (Paso 3) y el style del frontmatter en blanco — sin plantillas, texto, color ni fuentes. Espera alrededor de 1 a 6 fotogramas.
Puerta: los fotogramas recorren la pista (primero en 0, último en duration_s); cada uno lleva span_sec + pacing + mood + feel; cada ### Grupos es TBD; sin contenido en ningún lado.
Paso 3: Rellenar el plan (con puerta de usuario)
Objetivo: Convertir el esqueleto en un STORYBOARD.md aprobado y completo.
Lee referencias/planificacion.md, formato-storyboard.md, catalogo-plantillas.md, catalogo-primitivas-movimiento.md y montaje.md (solo si el usuario ha proporcionado activos). Editando el mismo archivo en el lugar, haz dos cosas:
- Elige la marca. Selecciona un preajuste de
../hyperframes-creative/frame-presets/usando la tabla en../hyperframes-creative/referencias/design-spec.md(empareja el estado de ánimo de la pista; solo importan sus fuentes y colores — las plantillas poseen la composición). Cópialo enframe.mdsin modificar y completa elstyledel frontmatter (fuente + una paleta de 4 a 6 muestras) a partir de él. - Rellena cada fotograma. Decide sus grupos y dale a cada uno un tratamiento: una plantilla emparejada del catálogo (con parámetros vinculados y anclajes audiomap reales), una composición libre del catálogo de primitivas, o un tratamiento de activo que obedezca
pacing. Escribe el texto. Tú posees QUÉ (plantilla/primitivas + contenido + anclajes); el frame-worker posee CÓMO — nunca escribas interpolaciones de milisegundos en el storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/referencias/plantillas
Corrige cada ✗ (errores graves: desajuste de duración, fotogramas que no recorren la pista, un src faltante); las advertencias son de mejor esfuerzo. Luego muestra al usuario un resumen fotograma por fotograma e itera hasta que lo aprueben.
Puerta: frame.md es una copia textual del preajuste; validate-plan.mjs termina con 0; el usuario aprobó el plan.
Paso 4: Construir fotogramas a partir del plan
Objetivo: Construir cada fotograma como un archivo de composición independiente.
Crea composiciones/fotogramas/. Lee sub-agentes/frame-worker.md y ../hyperframes-core/referencias/subagent-dispatch.md. Despacha un frame-worker por fotograma, en paralelo si es posible (de lo contrario, en oleadas). Cada worker recibe exactamente un fotograma y este contexto:
PROJECT_DIR: <ruta absoluta>
frame_id: <NN-frame_id> # = el nombre del archivo del fotograma, ej. 02-f2; el id de la composición
Tu bloque: el bloque `## Fotograma N — <frame_id>` en PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materiales: para cada grupo, <SKILL_DIR>/referencias/plantillas/<id>/index.html (plantillas) y
<SKILL_DIR>/referencias/primitivas-movimiento/<id>/ (libre); activos/ organizados (grupos de activos)
Contratos: ../hyperframes-core/referencias/sub-composiciones.md + reglas-determinismo.md
Lienzo: <an>×<al> Pacing: <beat_cut|phrase_flow>
Escribir en: PROJECT_DIR/composiciones/fotogramas/<frame_id>.html
El worker bifurca los materiales citados, convierte cada anclaje a segundos locales del fotograma (local_t = track_t − span_sec[0]), compuerta sus grupos con cortes de 0 ms y escribe un archivo de fotograma seguro para búsqueda. El worker nunca ejecuta el CLI hyperframes — esos comandos operan en el proyecto ensamblado, que aún no existe, por lo que informarían sobre los archivos equivocados. El worker solo escribe en el contrato y se detiene; tú verificas después del ensamblaje (Paso 6). A medida que cada worker regresa, puedes confirmar que su archivo ha llegado al disco.
Puerta: cada fotograma tiene su composiciones/fotogramas/NN-*.html en disco.
Paso 5: Ensamblar
Objetivo: Conectar los fotogramas construidos + BGM en el index.html reproducible.
assemble-index.mjs es determinista — sin subagente, sin juicio. Hace referencia a cada archivo de fotograma en su data-start acumulativo, monta activos/bgm.mp3 en la pista 11 y corta directamente fotograma → fotograma (los fotogramas recorren la pista sin espacios, por lo que no hay inyector de transiciones).
node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"
Corrige cualquier ✗ que informe — un archivo de fotograma faltante o en blanco significa que ese worker escribió un archivo parcial; vuelve a despacharlo (Paso 4) y reensambla.
Puerta: index.html existe; duración total == audiomap.audio.duration_sec.
Paso 6: Verificar y renderizar
Objetivo: Verificar el video ensamblado, obtener la aprobación del usuario y renderizar el MP4 final.
Ejecuta el CLI en el proyecto ensamblado — esa es la unidad correcta (los workers por fotograma no podían ejecutarlo). lint comprueba la estructura, validate ejecuta Chrome sin cabeza (detectando errores JS y activos faltantes), inspect captura fotogramas.
( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )
Inspecciona en t=0, cada inicio de fotograma, el DROP/SURGE más fuerte, cada hard_stops[].t y el fotograma final. En caso de fallo, haz la corrección segura más barata tú mismo: edita el composiciones/fotogramas/NN-*.html infractor. Nunca cambies la duración o la sincronización del audio para ocultar un problema de sincronización. Una vez que las puertas pasen, pausa para la revisión del usuario, luego renderiza solo con aprobación:
( cd "$PROJECT_DIR" && npx hyperframes render . --skill=de-musica-a-video -q draft -o renders/video.mp4 --fps 30 )
Puerta: lint / validate / inspect pasaron; el usuario aprobó; renders/video.mp4 existe con audio, duración == audiomap.audio.duration_sec. La respuesta final indica la ruta del MP4 y la duración.
Tabla de reanudación
| Tienes | Continúa desde |
|---|---|
Solo activos/bgm.mp3 | Paso 1 |
audiomap.json | Paso 2 |
STORYBOARD.md (esqueleto) | Paso 3 |
STORYBOARD.md (completo) | Paso 4 |
| todos los archivos de fotograma | Paso 5 |
index.html | Paso 6 |
Referencia rápida
Formatos: apaisado 1920x1080 por defecto; retrato 1080x1920; cuadrado 1080x1080. Establece el lienzo una vez en el frontmatter del storyboard (canvas: { w, h, fps }).
Scripts en scripts/: analyze-beatgrid.py (el único analizador), validate-plan.mjs (comprobación del plan), assemble-index.mjs (ensamblaje de índice), stage-assets.mjs (organizar medios del usuario), lib/storyboard.mjs (analizador sintáctico empaquetado). Todo lo demás es el CLI hyperframes.
| Lee | Cuándo |
|---|---|
referencias/frame-esqueleto.md | Paso 2: leer la música, distribuir los fotogramas, establecer pacing |
referencias/planificacion.md · formato-storyboard.md | Paso 3: elegir la marca, rellenar cada fotograma, escribir el plan |
referencias/catalogo-plantillas.md | Paso 3: elegir una plantilla por grupo |
referencias/catalogo-primitivas-movimiento.md | Paso 3: elegir primitivas de movimiento |
referencias/montaje.md | Paso 3 (solo si hay activos de usuario): planificar el montaje |
sub-agentes/frame-worker.md | Paso 4: construir cada fotograma |
../hyperframes-core/referencias/subagent-dispatch.md | Paso 4: despachar frame-workers |
../hyperframes-core/referencias/sub-composiciones.md · determinismo-reglas.md | Paso 4: reglas del contrato del worker |