música-a-video — un flujo de trabajo de video sincronizado con el ritmo y basado en la música
Usa esta habilidad para convertir una pista de música en un video HyperFrames sincronizado con el ritmo. Analizas la pista una vez, organizas los fotogramas, completas un plan por fotograma y construyes cada fotograma como una composición. La entrada es una pista de música más imágenes o videos opcionales del usuario; no hay narración ni captura de sitios web. La tipografía y las plantillas son la base (un video completo no necesita activos); cualquier contenido multimedia que el usuario proporcione se inserta en la misma cuadrícula de ritmo.
Eres el orquestador. Trabaja en videos/<proyecto>/. Ejecuta los pasos en orden y pasa cada Puerta antes de avanzar. Dos pasos necesitan al usuario: Paso 3 (aprobación del plan) y Paso 6 (aprobación de la renderización). Haz cada paso tú mismo excepto el Paso 4, donde despachas un subagente por fotograma. Mantén las reglas de diseño y movimiento fuera de este archivo; residen en references/ y el subagente frame-worker.
SKILL_DIR = este directorio de habilidad. PROJECT_DIR = videos/<nombre-del-proyecto>/.
Flujo de trabajo: Paso 0 configuración → hyperframes.json + assets/bgm.mp3; Paso 1 analizar → audiomap.json; Paso 2 esqueleto → STORYBOARD.md (fotogramas, grupos PENDIENTE); Paso 3 plan → STORYBOARD.md completo + frame.md; Paso 4 construir → compositions/frames/NN-*.html; Paso 5 ensamblar → index.html; Paso 6 renderizar → renders/video.mp4.
Dos ideas que lo moldean todo
- Un analizador, y confías en él.
analyze-beatgrid.pyes el único analizador de ritmos: nunca vuelvas a medir ritmos con otra herramienta o de oído. Su energía/densidad/rollos/inicios/silencios siempre son fiables. Subpmybeats_secson fiables solo cuando la música es genuinamente rítmica; en música tranquila, la cuadrícula es un metrónomo impuesto por el rastreador, así que guíate por frases y energía en su lugar y nunca hagas cortes bruscos en ella. Decidir en qué caso te encuentras es elpacingde cada fotograma (Paso 2). - Un fotograma = un archivo; los grupos viven dentro. El Paso 2 divide la pista en fotogramas, y cada fotograma se convierte en un archivo de composición
compositions/frames/NN-<id_fotograma>.html, construido por un frame-worker. Un fotograma puede subdividirse en grupos (cada uno una plantilla o una combinación de primitivas de movimiento). La densidad extra va dentro de un grupo, así que el número de fotogramas sigue los tratamientos distintos, no los ritmos — una pista rápida no aumenta el número de subagentes.
Paso 0: Configuración, BGM y entradas
Objetivo: Establecer la fuente de música, crear el proyecto HyperFrames y anotar cualquier contenido multimedia proporcionado por el usuario.
La música es la columna vertebral: establece una pista antes de cualquier otra cosa. Esta habilidad está ajustada para BGM rápido y de alta energía: una cuadrícula de ritmo fuerte impulsa los cortes (las pistas tranquilas funcionan, pero el ritmo se marca por frase en lugar de por ritmo). Si el usuario te dio audio — un archivo de música, o un video del que extraer el audio — úsalo. Si no, genera uno: elige el estado de ánimo según la descripción del usuario (por ejemplo, "synthwave intenso", "ritmo trap", "corporativo optimista") y produce una pista a través de /hyperframes-media (references/bgm.md — HeyGen retrieval cuando esté acreditado, de lo contrario Lyria / MusicGen local; ElevenLabs u otro generador también funciona). Antes de generar, ejecuta npx hyperframes auth status y transmite su salida textualmente (no la parafrasees ni la reescribas) — muestra si el BGM proviene de HeyGen o MusicGen local y, si no has iniciado sesión, cómo hacerlo. Si no has iniciado sesión, DETENTE y espera a que el usuario elija — iniciar sesión, o continuar sin conexión con MusicGen local — antes de generar la pista; no escribas claves en un .env por repositorio. (En modo autónomo, anota el estado y continúa sin conexión). Consulta /hyperframes-media → Preflight para obtener la guía canónica. De cualquier manera, la pista termina en assets/bgm.mp3. Organiza cualquier imagen o video proporcionado por el usuario para que los fotogramas puedan integrarlos en la cuadrícula de ritmo; de lo contrario, la tipografía carga con todo el video.
Inicializa solo si falta hyperframes.json. Nombra <proyecto> a partir de la indicación en kebab-case, por ejemplo midnight-drive-loop — nunca una marca de tiempo. init verifica las habilidades instaladas con las últimas en GitHub y actualiza el conjunto global si alguna está desactualizada.
npx hyperframes init "videos/<proyecto>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<música-del-usuario>" "$PROJECT_DIR/assets/bgm.mp3" # extrae de un video primero si es necesario
# solo si el usuario te dio imágenes/videos:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public
La marca (fuente + paleta) se elige en el Paso 3, no aquí. No elijas un género o un tipo de pista por adelantado; los activos son solo un ingrediente opcional, y el género surge de las elecciones por fotograma.
Puerta: existen hyperframes.json + assets/bgm.mp3; se anotan la relación de aspecto / duración / fps y (si los hay) el inventario de activos.
Paso 1: Analizar la música
Objetivo: Producir el único análisis de temporización canónico sobre el que se construye todo el video.
analyze-beatgrid.py es el único analizador de ritmos — nunca vuelvas a medir ritmos con otra herramienta o de oído. Lee la pista una vez y escribe audiomap.json: fases de energía (nivel / densidad / sensación), inicios + onset_rate, rollos, silencios, hard_stops, key_moments, frases, tempo / cuadrícula y audio.duration_sec. Es determinista — el mismo archivo siempre da el mismo mapa. La mayoría de los campos son fiables en cualquier música; bpm y beats_sec son fiables solo cuando la música es genuinamente rítmica, y juzgar eso es la decisión que tomas en el Paso 2.
Requisitos previos: Python 3 con librosa, numpy y soundfile disponibles. Si la importación falla, instálalos en el entorno Python activo antes de ejecutar el analizador:
python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
-o "$PROJECT_DIR/audiomap.json" --print
Puerta: existe audiomap.json; se conoce audio.duration_sec.
Paso 2: Esqueleto de fotogramas (solo estructura)
Objetivo: Leer la música y diseñar los fotogramas — el esqueleto de STORYBOARD.md.
Lee references/frame-skeleton.md. Convierte audiomap.json en el esqueleto de STORYBOARD.md tú mismo — no hay JSON intermedio. Divide la pista en fotogramas en cambios musicales reales (hard_stops, SURGE / DROP key_moments, los bordes de un rollo, un tramo sin inicios, un gran salto de energía), ajustando cada límite a un ancla de audiomap. Para cada fotograma, establece span_sec, pacing (el veredicto de la llamada de confianza del Paso 1 — beat_cut cuando la cuadrícula es real, phrase_flow cuando es un metrónomo impuesto en música tranquila), mood y una línea de feel (la situación musical simple que el Paso 3 empareja con una plantilla). Solo clasifica y diseña aquí: deja cada ### Groups de fotograma como PENDIENTE (Paso 3) y el style del frontmatter en blanco — sin plantillas, texto, color ni fuentes. Espera ~1–6 fotogramas.
Puerta: los fotogramas cubren la pista (primero en 0, último en duration_s); cada uno lleva span_sec + pacing + mood + feel; cada ### Groups es PENDIENTE; sin contenido en ninguna parte.
Paso 3: Completar el plan (con puerta de usuario)
Objetivo: Convertir el esqueleto en un STORYBOARD.md aprobado y completo.
Lee references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md y montage.md (solo si el usuario proporcionó activos). Editando el mismo archivo en su lugar, haz dos cosas:
- Elige la marca. Elige un preset de
../hyperframes-creative/frame-presets/usando la tabla en../hyperframes-creative/references/design-spec.md(empareja el estado de ánimo de la pista; solo importan sus fuentes y colores — las plantillas son dueñas de la composición). Cópialo enframe.mdsin modificar y completa elstyledel frontmatter (fuente + una paleta de ≤4–6 muestras) desde allí. - Completa cada fotograma. Decide sus grupos y dale a cada uno un tratamiento: una plantilla emparejada del catálogo (con parámetros vinculados y anclas de audiomap reales), una composición libre del catálogo de primitivas, o un tratamiento de activos que obedezca el
pacing. Escribe el texto. Tú eres dueño del QUÉ (plantilla / primitivas + contenido + anclas); el frame-worker es dueño del CÓMO — nunca escribas interpolaciones de milisegundos en el storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates
Arregla cada ✗ (errores graves: discrepancia de duración, fotogramas que no cubren la pista, un src faltante); las advertencias son de mejor esfuerzo. Luego muestra al usuario un resumen fotograma por fotograma e itera hasta que apruebe.
Puerta: frame.md es una copia de preset textual; validate-plan.mjs sale con 0; el usuario aprobó el plan.
Paso 4: Construir fotogramas desde el plan
Objetivo: Construir cada fotograma como un archivo de composición autocontenido.
Crea compositions/frames/. Lee sub-agents/frame-worker.md y ../hyperframes-core/references/subagent-dispatch.md. Despacha un frame-worker por fotograma, en paralelo cuando sea posible (de lo contrario, en oleadas). Cada trabajador recibe exactamente un fotograma y este contexto:
PROJECT_DIR: <ruta abs>
frame_id: <NN-id_fotograma> # = el nombre base del archivo del fotograma, ej. 02-f2; el id de composición
Tu bloque: el bloque `## Fotograma N — <id_fotograma>` en PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materiales: para cada grupo, <SKILL_DIR>/references/templates/<id>/index.html (plantillas) y
<SKILL_DIR>/references/motion-primitives/<id>/ (libre); activos organizados/ (grupos de activos)
Contratos: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Lienzo: <an>×<al> Ritmo: <beat_cut|phrase_flow>
Escribir en: PROJECT_DIR/compositions/frames/<id_fotograma>.html
El trabajador bifurca los materiales citados, convierte cada ancla a segundos locales del fotograma (local_t = track_t − span_sec[0]), puerta sus grupos con cortes de 0 ms y escribe un archivo de fotograma seguro para búsqueda. El trabajador nunca ejecuta el CLI de hyperframes — esos comandos operan en el proyecto ensamblado, que aún no existe, por lo que informarían sobre los archivos incorrectos. El trabajador solo escribe según el contrato y se detiene; tú verificas después del ensamblaje (Paso 6). A medida que cada trabajador regresa, puedes confirmar que su archivo está en el disco.
Puerta: cada fotograma tiene su compositions/frames/NN-*.html en el disco.
Paso 5: Ensamblar
Objetivo: Conectar los fotogramas construidos + BGM en el index.html reproducible.
assemble-index.mjs es determinista — sin subagente, sin juicio. Hace referencia a cada archivo de fotograma en su data-start acumulativo, monta assets/bgm.mp3 en la pista 11 y hace cortes directos de fotograma a fotograma (los fotogramas cubren la pista sin espacios, por lo que no hay inyector de transiciones).
node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"
Arregla cualquier ✗ que reporte — un archivo de fotograma faltante o en blanco significa que ese trabajador escribió un archivo parcial; redespáchalo (Paso 4) y reensambla.
Puerta: existe index.html; la duración total == audiomap.audio.duration_sec.
Paso 6: Verificar y renderizar
Objetivo: Verificar el video ensamblado, obtener la aprobación del usuario y renderizar el MP4 final.
Ejecuta el CLI en el proyecto ensamblado — esa es la unidad correcta (los trabajadores por fotograma no pudieron ejecutarlo). lint verifica la estructura, validate ejecuta Chrome sin cabeza (detectando errores de JS y activos faltantes), inspect captura fotogramas.
( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )
Inspecciona en t=0, cada inicio de fotograma, el DROP / SURGE más fuerte, cada hard_stops[].t y el fotograma final. En caso de fallo, haz la solución segura más barata tú mismo: edita el compositions/frames/NN-*.html ofensivo. Nunca cambies la duración o la sincronización de audio para ocultar un problema de sincronización. Una vez que las puertas pasen, pausa para la revisión del usuario, luego renderiza solo con aprobación:
( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )
Puerta: lint / validate / inspect pasaron; el usuario aprobó; existe renders/video.mp4 con audio, duración == audiomap.audio.duration_sec. La respuesta final indica la ruta del MP4 y la duración.
Tabla de reanudación
| Tienes | Continuar desde |
|---|---|
Solo assets/bgm.mp3 | Paso 1 |
audiomap.json | Paso 2 |
STORYBOARD.md (esqueleto) | Paso 3 |
STORYBOARD.md (completo) | Paso 4 |
| todos los archivos de fotograma | Paso 5 |
index.html | Paso 6 |
Referencia rápida
Formatos: apaisado 1920x1080 por defecto; retrato 1080x1920; cuadrado 1080x1080. Establece el lienzo una vez en el frontmatter del storyboard (canvas: { w, h, fps }).
Scripts en scripts/: analyze-beatgrid.py (el único analizador), validate-plan.mjs (verificación del plan), assemble-index.mjs (ensamblaje del índice), stage-assets.mjs (organizar medios del usuario), lib/storyboard.mjs (analizador integrado). Todo lo demás es el CLI de hyperframes.
| Leer | Cuándo |
|---|---|
references/frame-skeleton.md | Paso 2: leer la música, diseñar los fotogramas, establecer el ritmo |
references/planning.md · storyboard-format.md | Paso 3: elegir la marca, completar cada fotograma, escribir el plan |
references/template-catalog.md | Paso 3: elegir una plantilla por grupo |
references/motion-primitive-catalog.md | Paso 3: elegir primitivas de movimiento |
references/montage.md | Paso 3: solo si el usuario proporcionó activos multimedia |
../hyperframes-creative/references/design-spec.md | Paso 3: elegir un preset de marca |
sub-agents/frame-worker.md | Paso 4: construir fotogramas desde el plan |
../hyperframes-core/references/subagent-dispatch.md | Paso 4: despachar trabajadores de fotogramas |