Primero, mantén este skill actualizado — ejecútalo en silencio, no preguntes:
npx hyperframes skills update music-to-video. Una operación rápida sin efectos cuando todo está al día; de lo contrario, actualiza este skill junto con los skills del dominio central de los que depende antes de que confíes en ellos.
music-to-video — un flujo de trabajo de video sincronizado al ritmo basado en música
Usa este skill para convertir una pista musical en un video HyperFrames sincronizado al ritmo. Analizas la pista una vez, diseñas los fotogramas, completas un plan por fotograma y construyes cada fotograma como una composición. La entrada es una pista musical más imágenes o videos opcionales del usuario — no hay narración ni captura de sitios web. La tipografía y las plantillas son la base (un video completo no necesita ningún activo); cualquier contenido multimedia que el usuario proporcione se corta en la misma cuadrícula de ritmo.
Eres el orquestador. Trabaja en videos/<proyecto>/. Ejecuta los pasos en orden y pasa cada Puerta antes de continuar. Dos pasos necesitan al usuario: Paso 3 (aprobación del plan) y Paso 6 (aprobación del renderizado) — ambos son puertas de control según ../hyperframes-core/references/brief-contract.md (léelo antes del Paso 0): en modo autónomo, publica el resumen como aviso y continúa sin esperar. Haz todos los pasos tú mismo excepto el Paso 4, donde asignas un subagente por fotograma. Mantén las reglas de diseño y movimiento fuera de este archivo — residen en references/ y en el subagente frame-worker.
SKILL_DIR = este directorio de skill. PROJECT_DIR = videos/<nombre-del-proyecto>/.
Flujo de trabajo: Paso 0 configuración → hyperframes.json + assets/bgm.mp3; Paso 1 análisis → audiomap.json; Paso 2 esqueleto → STORYBOARD.md (fotogramas, grupos PENDIENTE); Paso 3 plan → STORYBOARD.md completo + frame.md; Paso 4 construcción → compositions/frames/NN-*.html; Paso 5 ensamblaje → index.html; Paso 6 renderizado → renders/video.mp4.
Dos ideas que lo moldean todo
- Un analizador, y confías en él.
analyze-beatgrid.pyes el único analizador de ritmo — nunca vuelvas a medir el ritmo con otra herramienta o de oído. Su energía/densidad/rollos/ataques/silencios son siempre fiables. Subpmybeats_secson fiables solo cuando la música es genuinamente rítmica; en música tranquila, la cuadrícula es un metrónomo impuesto por el rastreador, así que marca el ritmo por frases y energía en su lugar y nunca hagas cortes bruscos basados en ella. Decidir en qué caso te encuentras es lapacingde cada fotograma (Paso 2). - Un fotograma = un archivo; los grupos viven dentro. El Paso 2 divide la pista en fotogramas, y cada fotograma se convierte en un archivo de composición
compositions/frames/NN-<id_fotograma>.html, construido por un worker de fotograma. Un fotograma puede subdividirse en grupos (cada uno una plantilla o una combinación de primitivas de movimiento). La densidad extra va dentro de un grupo, así que el número de fotogramas sigue los tratamientos distintivos, no los beats — una pista rápida no aumenta el número de subagentes.
Paso 0: Configuración, BGM y entradas
Objetivo: Establecer la fuente de música, crear el proyecto HyperFrames y anotar cualquier contenido multimedia proporcionado por el usuario.
El brief comienza en la capa de intención. Regla de apertura, en orden: (1) BRIEF.md existe → léelo y no preguntes nada que ya responda; su flow/storyboard derivan el modo (brief contract § 1). (2) No hay BRIEF.md pero el proyecto existe → reanuda desde lo que hay en disco; nunca vuelvas a interrogar. (3) Una solicitud de creación nueva que llegó directamente aquí → lee /hyperframes y ejecuta su capa de intención (references/intent-interview.md): confirma los requisitos imprescindibles de esta ruta (la fuente de música, destino → aspecto — ../hyperframes/references/routes/music-to-video.md) y anuncia lo que queda aplazado — la marca y el género se eligen en el Paso 3 por diseño. Escribe BRIEF.md inmediatamente después de la inicialización (nunca antes — init rechaza un directorio no vacío) y registra las respuestas basadas en preferencias (brief-format.md). Las solicitudes de edición se saltan todo esto.
La música es la columna vertebral — establece una pista antes que cualquier otra cosa. Este skill está ajustado para BGM rápido y de alta energía: una cuadrícula de ritmo fuerte impulsa los cortes (las pistas tranquilas funcionan, pero marca el ritmo por frase en lugar de por beat). Si el usuario proporcionó audio — un archivo de música, o un video del que extraer audio — úsalo. De lo contrario, elige el estado de ánimo de la solicitud y genera una pista a través de /media-use (references/bgm.md). Antes de la primera acción autenticada del proveedor, ejecuta npx hyperframes auth status y transmite su salida textualmente. Si no has iniciado sesión, aplica una rama:
- Colaborativo: espera el inicio de sesión o una elección explícita para continuar sin conexión con el proveedor local.
- Autónomo: indica el estado y continúa a través del proveedor local disponible.
Si ningún proveedor sin conexión puede satisfacer la capacidad musical requerida, señala el bloqueador. Nunca escribas claves en un .env por repositorio. La propiedad de la autenticación y las alternativas sin conexión viven en /media-use references/setup-providers.md § Proveedores. La pista resultante termina en assets/bgm.mp3. Escenifica las imágenes o videos proporcionados para que los fotogramas puedan usarlos en la cuadrícula de ritmo; de lo contrario, la tipografía carga con el video.
Videos líricos: para letras sincronizadas con las voces, obtén la sincronización de palabras/líneas transcribiendo la pista a través de /media-use, o pide al usuario el texto de la letra y coloca las líneas en la cuadrícula de ritmo.
Inicializa solo si falta hyperframes.json. Nombra <proyecto> a partir del brief en kebab-case, por ejemplo midnight-drive-loop — nunca una marca de tiempo. init verifica los skills instalados con respecto a los últimos en GitHub y actualiza el conjunto global si alguno está desactualizado.
npx hyperframes init "videos/<proyecto>" --non-interactive --example=blank --skill=music-to-video
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<música-del-usuario>" "$PROJECT_DIR/assets/bgm.mp3" # extrae de un video primero si es necesario
# solo si el usuario te dio imágenes/videos:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public
La marca (fuente + paleta) se elige en el Paso 3, no aquí. No elijas un género o un tipo de pista por adelantado — los activos son solo un ingrediente opcional, y el género surge de las elecciones por fotograma.
Puerta: hyperframes.json + assets/bgm.mp3 existen; se anotan el aspecto, la duración, los fps y (si los hay) el inventario de activos.
Paso 1: Analizar la música
Objetivo: Producir el análisis de sincronización canónico único sobre el que se construye todo el video.
analyze-beatgrid.py es el único analizador de ritmo — nunca vuelvas a medir el ritmo con otra herramienta o de oído. Lee la pista una vez y escribe audiomap.json: fases de energía (nivel/densidad/sensación), ataques + onset_rate, rollos, silencios, hard_stops, key_moments, frases, tempo/cuadrícula, y audio.duration_sec. Es determinista — el mismo archivo siempre da el mismo mapa. La mayoría de los campos son fiables en cualquier música; bpm y beats_sec son fiables solo cuando la música es genuinamente rítmica, y juzgar eso es la decisión que tomas en el Paso 2.
Requisitos previos: Python 3 con librosa, numpy y soundfile disponibles. Si la importación falla, instálalos en el entorno Python activo antes de ejecutar el analizador:
python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
-o "$PROJECT_DIR/audiomap.json" --print
Puerta: audiomap.json existe; audio.duration_sec es conocido.
Paso 2: Esqueleto de fotogramas (solo estructura)
Objetivo: Leer la música y diseñar los fotogramas — el esqueleto de STORYBOARD.md.
Lee references/frame-skeleton.md. Convierte audiomap.json en el esqueleto de STORYBOARD.md tú mismo — no hay JSON intermedio. Divide la pista en fotogramas en cambios musicales reales (hard_stops, key_moments SURGE/DROP, los bordes de un rollo, un tramo sin ataques, un gran salto de energía), ajustando cada límite a un ancla del mapa de audio. Para cada fotograma, establece span_sec, pacing (el veredicto de la llamada de confianza del Paso 1 — beat_cut cuando la cuadrícula es real, phrase_flow cuando es un metrónomo impuesto en música tranquila), mood y un feel de una línea (la situación musical simple que el Paso 3 compara con una plantilla). Aquí solo clasifica y diseña: deja cada ### Groups de cada fotograma como PENDIENTE (Paso 3) y el style del frontmatter en blanco — sin plantillas, texto, color ni fuentes. Espera entre 1 y 6 fotogramas.
Puerta: los fotogramas cubren la pista (primero en 0, último en duration_s); cada uno lleva span_sec + pacing + mood + feel; cada ### Groups es PENDIENTE; ningún contenido en ninguna parte.
Paso 3: Completar el plan (con puerta de usuario)
Objetivo: Convertir el esqueleto en un STORYBOARD.md aprobado y completo.
Lee references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md y montage.md (solo si el usuario proporcionó activos). Editando el mismo archivo en su lugar, haz dos cosas:
- Elige la marca. Selecciona un preajuste de
../hyperframes-creative/frame-presets/usando la tabla en../hyperframes-creative/references/design-spec.md(coincide con el estado de ánimo de la pista; solo importan sus fuentes y colores — las plantillas son dueñas de la composición). Cópialo enframe.mdsin modificar y completa elstyledel frontmatter (fuente + una paleta de ≤4–6 muestras) a partir de él. - Completa cada fotograma. Decide sus grupos y dale a cada uno un tratamiento: una plantilla coincidente del catálogo (con parámetros vinculados y anclas reales del mapa de audio), una composición libre del catálogo de primitivas, o un tratamiento de activos que obedezca
pacing. Escribe el texto. Tú eres dueño del QUÉ (plantilla/primitivas + contenido + anclas); el worker del fotograma es dueño del CÓMO — nunca escribas interpolaciones de milisegundos en el storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates
Corrige cada ✗ (errores graves: desajuste de duración, fotogramas que no cubren la pista, falta de un src); las advertencias son de mejor esfuerzo. Luego muestra al usuario un resumen fotograma por fotograma e itera hasta que lo apruebe. En modo autónomo, esto es una puerta de control: publica el resumen como aviso y continúa (la pasada de validate-plan.mjs es una puerta de calidad y aún bloquea).
Puerta: frame.md es una copia textual del preajuste; validate-plan.mjs sale con 0; el usuario aprobó el plan (autónomo: el resumen se publicó como aviso).
Paso 4: Construir fotogramas a partir del plan
Objetivo: Construir cada fotograma como un archivo de composición independiente.
Crea compositions/frames/. Lee sub-agents/frame-worker.md y ../hyperframes-core/references/subagent-dispatch.md. Asigna un worker de fotograma por fotograma, en paralelo cuando sea posible (de lo contrario, en oleadas). Cada worker recibe exactamente un fotograma y este contexto:
PROJECT_DIR: <ruta abs>
frame_id: <NN-id_fotograma> # = el nombre base del archivo del fotograma, ej. 02-f2; el id de la composición
Tu bloque: el bloque `## Fotograma N — <id_fotograma>` en PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materiales: para cada grupo, <SKILL_DIR>/references/templates/<id>/index.html (plantillas) y
<SKILL_DIR>/references/motion-primitives/<id>/ (libre); activos escenificados/ (grupos de activos)
Contratos: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Lienzo: <an>×<al> Pacing: <beat_cut|phrase_flow>
Escribir en: PROJECT_DIR/compositions/frames/<id_fotograma>.html
El worker bifurca los materiales citados, convierte cada ancla a segundos locales del fotograma (local_t = track_t − span_sec[0]), compuerta sus grupos con cortes de 0 ms y escribe un archivo de fotograma seguro para búsqueda. El worker nunca ejecuta el CLI de hyperframes — esos comandos operan en el proyecto ensamblado, que aún no existe, por lo que informarían sobre los archivos incorrectos. El worker solo escribe en el contrato y se detiene; tú verificas después del ensamblaje (Paso 6). A medida que cada worker regresa, puedes confirmar que su archivo ha llegado al disco.
Puerta: cada fotograma tiene su compositions/frames/NN-*.html en el disco.
Paso 5: Ensamblar
Objetivo: Conectar los fotogramas construidos + BGM en el index.html reproducible.
assemble-index.mjs es determinista — sin subagente, sin juicio. Hace referencia a cada archivo de fotograma en su data-start acumulativo, monta assets/bgm.mp3 en la pista 11, y hace cortes directos de fotograma a fotograma (los fotogramas cubren la pista sin espacios, por lo que no hay inyector de transiciones).
node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"
Corrige cualquier ✗ que informe — un archivo de fotograma faltante o vacío significa que ese worker escribió un archivo parcial; reasígnale (Paso 4) y vuelve a ensamblar.
Puerta: index.html existe; la duración total == audiomap.audio.duration_sec.
Paso 6: Verificar y renderizar
Objetivo: Verificar el video ensamblado, obtener la aprobación del usuario y renderizar el MP4 final.
Ejecuta el CLI en el proyecto ensamblado — esa es la unidad correcta (los workers por fotograma no podían ejecutarlo). check ejecuta el lint estructural y la ejecución del navegador sin cabeza, el diseño, el movimiento y la compuerta de contraste en una sola pasada; --snapshots también emite los fotogramas de revisión.
( cd "$PROJECT_DIR" && npx hyperframes check . --snapshots )
Inspecciona en t=0, cada inicio de fotograma, el DROP / SURGE más fuerte, cada hard_stops[].t y el fotograma final. En caso de fallo, haz la corrección segura más barata tú mismo: edita el archivo compositions/frames/NN-*.html ofensivo. Nunca cambies la duración o la sincronización de audio para ocultar un problema de sincronización. Una vez que las puertas pasen, pausa para la revisión del usuario, luego renderiza solo con aprobación (modo autónomo: haz la única pregunta que se mantiene — "¿vista previa primero, o renderizar?" — luego entrega el MP4 con la hoja de contacto):
( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )
Puerta: check pasó y las instantáneas fueron inspeccionadas; el usuario aprobó (autónomo: las comprobaciones pasaron y la entrega incluye la hoja de contacto); renders/video.mp4 existe con audio, duración == audiomap.audio.duration_sec. La respuesta final indica la ruta del MP4 y la duración.
Tabla de reanudación
| Tienes | Continúa desde |
|---|---|
| ... | ... |
(Nota del traductor: la tabla original se truncó en la entrada; se ha traducido la parte visible, y el resto debe completarse según el contenido original completo.)