Instalación de plugins: Antes de los comandos de configuración o actualización, sigue las reglas de ejecución de plugins cuando este skill esté dentro de un plugin de HyperFrames. Las instalaciones independientes mantienen las instrucciones de actualización a continuación.
Primero, mantén este skill actualizado — confirma con el usuario antes de ejecutar:
npx hyperframes skills update music-to-video. Es una operación rápida sin cambios cuando todo está al día; de lo contrario, actualiza este skill y los skills del dominio central de los que depende antes de que confíes en ellos.
music-to-video — un flujo de trabajo de vídeo sincronizado con el ritmo, basado en música
Usa este skill para convertir una pista de música en un vídeo HyperFrames sincronizado con el ritmo. Analizas la pista una vez, organizas los fotogramas, completas un plan por fotograma y construyes cada fotograma como una composición. La entrada es una pista de música más imágenes o vídeos opcionales del usuario — no hay narración ni captura de sitios web. La tipografía y las plantillas son la base (un vídeo completo no necesita ningún recurso); cualquier medio que el usuario proporcione se corta sobre la misma rejilla de ritmo.
Eres el orquestador. Trabaja en videos/<proyecto>/. Ejecuta los pasos en orden y pasa cada Puerta antes de continuar. Dos pasos necesitan al usuario: Paso 3 (aprobación del plan) y Paso 6 (aprobación de la renderización) — ambas son puertas de control según ../hyperframes/references/brief-contract.md (léelo antes del Paso 0): en modo autónomo, publica el resumen del Paso 3 como aviso y continúa; la aprobación de la renderización del Paso 6 sigue siendo la única pregunta que se mantiene. Haz cada paso tú mismo excepto el Paso 4, donde despachas un sub-agente por fotograma. Mantén las reglas de diseño y movimiento fuera de este archivo — residen en references/ y el sub-agente frame-worker.
SKILL_DIR = este directorio del skill. PROJECT_DIR = videos/<nombre-del-proyecto>/.
Flujo de trabajo: Paso 0 configuración → hyperframes.json + assets/bgm.mp3; Paso 1 análisis → audiomap.json; Paso 2 esqueleto → STORYBOARD.md (fotogramas, grupos TBD); Paso 3 plan → completar STORYBOARD.md + frame.md; Paso 4 construcción → compositions/frames/NN-*.html; Paso 5 ensamblaje → index.html; Paso 6 renderización → renders/video.mp4.
Dos ideas que lo conforman todo
- Un analizador, y confías en él.
analyze-beatgrid.pyes el único analizador de ritmo — nunca vuelvas a medir ritmos con otra herramienta o de oído. Su energía / densidad / rolls / ataques / silencios son siempre fiables. Subpmybeats_secson fiables solo cuando la música es genuinamente rítmica; en música tranquila la rejilla es un metrónomo impuesto por el rastreador, así que en su lugar marca el ritmo por frases y energía y nunca hagas un corte directo. Decidir en qué caso te encuentras es responsabilidad de cada fotograma en supacing(Paso 2). - Un fotograma = un archivo; los grupos viven dentro. El Paso 2 corta la pista en fotogramas, y cada fotograma se convierte en un archivo de composición
compositions/frames/NN-<id_fotograma>.html, construido por un frame-worker. Un fotograma puede subdividirse en grupos (cada uno una plantilla o una combinación de primitivas de movimiento). La densidad extra va dentro de un grupo, así que el número de fotogramas sigue los tratamientos distintos, no los ritmos — una pista rápida no dispara el número de sub-agentes.
Paso 0: Configuración, BGM y entradas
Objetivo: Establecer la fuente de música, crear el proyecto HyperFrames y anotar cualquier medio proporcionado por el usuario.
El brief comienza en la capa de intención. Regla de apertura, en orden: (1) BRIEF.md existe → léelo y no preguntes nada que responda — su flow/storyboard derivan el modo (brief contract § 1). (2) No hay BRIEF.md pero el proyecto existe → reanuda desde lo que hay en disco; nunca vuelvas a interrogar. (3) Una solicitud de creación nueva que llegó directamente aquí → lee /hyperframes y ejecuta su capa de intención (references/intent-interview.md): confirma los requisitos imprescindibles de esta ruta (la fuente de música, destino → aspecto — ../hyperframes/references/routes/music-to-video.md) y anuncia lo que queda diferido — la marca y el género se eligen en el Paso 3 por diseño. Escribe BRIEF.md inmediatamente después de la inicialización (nunca antes — init rechaza un directorio no vacío) y registra las respuestas basadas en preferencias (brief-format.md). Las solicitudes de edición omiten todo esto.
La música es la columna vertebral — establece una pista antes que cualquier otra cosa. Este skill está ajustado para BGM rápida y de alta energía: una rejilla de ritmo fuerte impulsa los cortes (las pistas tranquilas funcionan, pero marca el ritmo por frases en lugar de por ritmo). Si el usuario proporcionó audio — un archivo de música, o un vídeo del que extraer audio — úsalo. De lo contrario, elige el estado de ánimo de la solicitud y genera una pista a través de /media-use (audio/references/bgm.md). Antes de la primera acción autenticada del proveedor, ejecuta npx hyperframes auth status y transmite su salida textualmente. Si no has iniciado sesión, aplica una rama:
- Colaborativo: espera el inicio de sesión o una elección explícita para continuar sin conexión con el proveedor local.
- Autónomo: indica el estado y continúa a través del proveedor local disponible.
Si ningún proveedor sin conexión puede satisfacer la capacidad musical requerida, muestra el bloqueador. Nunca escribas claves en un .env por repositorio. La propiedad de la autenticación y las alternativas sin conexión residen en /media-use references/setup-providers.md § Proveedores. La pista resultante aterriza en assets/bgm.mp3. Almacena las imágenes o vídeos proporcionados para que los fotogramas puedan usarlos en la rejilla de ritmo; de lo contrario, la tipografía lleva el vídeo.
Vídeos líricos: para letras sincronizadas con las voces, obtén la temporización de palabras/líneas transcribiendo la pista a través de /media-use, o pide al usuario el texto de la letra y coloca las líneas en la rejilla de ritmo.
Inicializa solo si hyperframes.json falta. Nombra <proyecto> a partir del brief en kebab-case, por ejemplo midnight-drive-loop — nunca una marca de tiempo. init verifica los skills instalados contra los últimos en GitHub y actualiza el conjunto global si alguno está desactualizado.
npx hyperframes init "videos/<proyecto>" --non-interactive --example=blank --skill=music-to-video
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<música-usuario>" "$PROJECT_DIR/assets/bgm.mp3" # extrae de un vídeo primero si es necesario
# solo si el usuario te dio imágenes/vídeos:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public
La marca (fuente + paleta) se elige en el Paso 3, no aquí. No elijas un género o tipo de pista por adelantado — los recursos son solo un ingrediente opcional, y el género surge de las elecciones por fotograma.
Puerta: hyperframes.json + assets/bgm.mp3 existen; se anotan aspecto / duración / fps y (si los hay) el inventario de recursos.
Paso 1: Analizar la música
Objetivo: Producir el análisis de temporización canónico único en el que se basa todo el vídeo.
analyze-beatgrid.py es el único analizador de ritmo — nunca vuelvas a medir ritmos con otra herramienta o de oído. Lee la pista una vez y escribe audiomap.json: fases de energía (nivel / densidad / sensación), ataques + onset_rate, rolls, silencios, hard_stops, key_moments, frases, tempo / rejilla, y audio.duration_sec. Es determinista — el mismo archivo siempre da el mismo mapa. La mayoría de los campos son fiables en cualquier música; bpm y beats_sec son fiables solo cuando la música es genuinamente rítmica, y juzgar eso es la decisión que tomas en el Paso 2.
Requisitos previos: Python 3 con librosa, numpy y soundfile disponibles. Si la importación falla, instálalos en el entorno de Python activo antes de ejecutar el analizador:
python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
-o "$PROJECT_DIR/audiomap.json" --print
Puerta: audiomap.json existe; audio.duration_sec es conocido.
Paso 2: Esqueleto de fotogramas (solo estructura)
Objetivo: Leer la música y organizar los fotogramas — el esqueleto de STORYBOARD.md.
Lee references/frame-skeleton.md. Convierte audiomap.json en el esqueleto de STORYBOARD.md tú mismo — no hay JSON intermedio. Corta la pista en fotogramas en cambios musicales reales (hard_stops, SURGE / DROP key_moments, los bordes de un roll, un tramo sin ataques, un gran salto de energía), ajustando cada límite a un ancla del mapa de audio. Para cada fotograma establece span_sec, pacing (el veredicto de la llamada de confianza del Paso 1 — beat_cut cuando la rejilla es real, phrase_flow cuando es un metrónomo impuesto sobre música tranquila), mood y una línea de feel (la situación musical simple que el Paso 3 empareja con una plantilla). Solo clasifica y organiza aquí: deja cada ### Groups del fotograma como TBD (Step 3) y el style del frontmatter en blanco — sin plantillas, texto, color ni fuentes. Espera ~1–6 fotogramas.
Puerta: los fotogramas cubren la pista (primero en 0, último en duration_s); cada uno lleva span_sec + pacing + mood + feel; cada ### Groups es TBD; no hay contenido en ninguna parte.
Paso 3: Completar el plan (con puerta de usuario)
Objetivo: Convertir el esqueleto en un STORYBOARD.md completo y aprobado.
Lee references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md y montage.md (solo si el usuario proporcionó recursos). Editando el mismo archivo en su lugar, haz dos cosas:
- Elige la marca. Elige un preset de
../hyperframes-creative/frame-presets/usando la tabla en../hyperframes-creative/references/design-spec.md(coincide con el estado de ánimo de la pista; solo sus fuentes y colores importan — las plantillas poseen la composición). Cópialo enframe.mdsin modificar y completa elstyledel frontmatter (fuente + una paleta de ≤4–6 muestras) a partir de él. - Completa cada fotograma. Decide sus grupos y dale a cada uno un tratamiento: una plantilla emparejada del catálogo (con parámetros vinculados y anclas de mapa de audio reales), una composición libre del catálogo de primitivas, o un tratamiento de recursos que obedezca
pacing. Antes de componer libremente un aspecto nombrado, busca en el catálogo activo: para cada aspecto, efecto, tratamiento o transición que el usuario pidió — "CRT scanlines", "glitch", "film grain", "shimmer sweep" — ejecutanpx hyperframes catalog --query "<el aspecto, en lenguaje natural>" --jsony lee los mejores resultados.template-catalog.mdymotion-primitive-catalog.mdenumeran solo los materiales locales de este skill; la búsqueda clasifica todo el registro alojado (~400 bloques y componentes) y no necesita nada instalado — ningún proyecto, ningúnaddprevio, ninguna cuenta. Compón libremente un aspecto solo después de que una búsqueda no haya encontrado nada que encaje. Escribe el texto. Tú eres responsable del QUÉ (plantilla / primitivas + contenido + anclas); el frame-worker es responsable del CÓMO — nunca escribas interpolaciones de milisegundos en el storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates
Corrige cada ✗ (errores graves: desajuste de duración, fotogramas que no cubren la pista, un src faltante); las advertencias son de mejor esfuerzo. Luego presenta el resumen fotograma por fotograma en el chat como una propuesta (../hyperframes/references/review-loop.md § 1) e itera sobre las respuestas del usuario hasta que aprueben; para storyboard: yes, también escríbelo como storyboard.html (../hyperframes-creative/references/storyboard-recipe.md § 3) para que lo abran. En modo autónomo, esto es una puerta de control: publica el resumen como aviso y continúa (la pasada de validate-plan.mjs es una puerta de calidad y aún bloquea).
Puerta: frame.md es una copia textual del preset; validate-plan.mjs sale con 0; el usuario aprobó el plan (autónomo: el resumen se publicó como aviso).
Paso 4: Construir fotogramas desde el plan
Objetivo: Construir cada fotograma como un archivo de composición independiente.
Crea compositions/frames/. Lee sub-agents/frame-worker.md y ../hyperframes/references/subagent-dispatch.md. Despacha un frame-worker por fotograma, en paralelo cuando sea posible (de lo contrario, en oleadas). Cada trabajador recibe exactamente un fotograma y este contexto:
PROJECT_DIR: <ruta absoluta>
frame_id: <NN-frame_id> # = el nombre base del archivo del fotograma, p.ej. 02-f2; el id de composición
Tu bloque: el bloque `## Frame N — <frame_id>` en PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materiales: para cada grupo, <SKILL_DIR>/references/templates/<id>/index.html (plantillas) y
<SKILL_DIR>/references/motion-primitives/<id>/ (libre); recursos almacenados/ (grupos de recursos)
Contratos: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Lienzo: <ancho>×<alto> Ritmo: <beat_cut|phrase_flow>
Escribir en: PROJECT_DIR/compositions/frames/<frame_id>.html
El trabajador bifurca los materiales citados, convierte cada ancla a segundos locales del fotograma (local_t = track_t − span_sec[0]), compuerta sus grupos con cortes de 0ms y escribe un archivo de fotograma seguro para la búsqueda. El trabajador nunca ejecuta el CLI de hyperframes — esos comandos operan sobre el proyecto ensamblado, que aún no existe, por lo que informarían sobre los archivos equivocados. El trabajador solo escribe según el contrato y se detiene; tú verificas después del ensamblaje (Paso 6). A medida que cada trabajador regresa, puedes confirmar que su archivo ha aterrizado en el disco.
Puerta: cada fotograma tiene su compositions/frames/NN-*.html en el disco.
Paso 5: Ensamblar
Objetivo: Conectar los fotogramas construidos + BGM en el index.html reproducible.
assemble-index.mjs es determinista — no hay subagente, no hay juicio. Hace referencia a cada archivo de fotograma en su data-start acumulativo, monta assets/bgm.mp3 en la pista 11 y hace cortes directos de fotograma a fotograma (los fotogramas cubren la pista sin espacios, por lo que no hay inyector de transiciones).
node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"
Corrige cualquier ✗ que informe — un archivo de fotograma faltante o en blanco significa que ese trabajador escribió un archivo parcial; re-despáchalo (Paso 4) y re-ensambla.
Puerta: index.html existe; la duración total == audiomap.audio.duration_sec.
Paso 6: Verificar y renderizar
Objetivo: Verificar el vídeo ensamblado, obtener la aprobación del usuario y renderizar el MP4 final.
Ejecuta el CLI en el proyecto ensamblado — esa es la unidad correcta (los trabajadores por fotograma no pudieron ejecutarlo). check ejecuta...