Communitygithub.com

Army161/OpenMontage

Convierte una pista de música en un vídeo HyperFrames sincronizado con el ritmo, usando análisis musical, tipografía y plantillas. Soporta medios opcionales del usuario y se adapta a cualquier género.

¿Qué es OpenMontage?

Army161/OpenMontage es una habilidad para agentes de IA (como Claude Code, Cursor o Codex) que transforma una pista de audio (o el audio extraído de un vídeo) en un vídeo HyperFrames sincronizado al beat. El flujo comienza con un único análisis musical (`analyze-beatgrid.py`) que genera un `audiomap.json`, el cual orquesta todos los cortes y decisiones. Luego, el orquestador divide la pista en fotogramas, rellena un plan detallado por fotograma (aprobado por el usuario) y despacha un subagente por fotograma para construirlo. La habilidad funciona sin ningún activo externo: la tipografía y las plantillas son la base. Si el usuario proporciona imágenes o vídeos, se integran respetando la misma rejilla de ritmo (con cortes al beat o efecto Ken Burns). El género final (lyric video, slideshow, promoción cinética) surge naturalmente de las elecciones por fotograma, no de una decisión inicial. Es ideal para creadores de contenido, músicos y desarrolladores que necesiten generar vídeos atractivos y rítmicos de forma automática.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Army161/OpenMontage/tree/HEAD/.agents/skills/music-to-video

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

música-a-vídeo — un flujo de trabajo para vídeo sincronizado al beat basado en una pista musical

Usa esta habilidad para convertir una pista de música en un vídeo HyperFrames sincronizado al beat. Analizas la pista una vez, organizas los fotogramas, completas un plan por fotograma y construyes cada uno como una composición. La entrada es una pista de música más imágenes o vídeos opcionales del usuario — no hay narración ni captura de sitios web. La tipografía y las plantillas son la base (un vídeo completo no necesita ningún activo); cualquier medio que el usuario proporcione se inserta en la misma rejilla de ritmo.

Eres el orquestador. Trabaja en videos/<proyecto>/. Ejecuta los pasos en orden y supera cada Puerta antes de continuar. Dos pasos necesitan al usuario: Paso 3 (aprobación del plan) y Paso 6 (aprobación del renderizado). Haz cada paso tú mismo excepto el Paso 4, donde despachas un subagente por fotograma. Mantén las reglas de diseño y movimiento fuera de este archivo — residen en references/ y en el subagente frame-worker.

SKILL_DIR = este directorio de habilidad. PROJECT_DIR = videos/<nombre-del-proyecto>/.

Flujo de trabajo: Paso 0 configuración → hyperframes.json + assets/bgm.mp3; Paso 1 analizar → audiomap.json; Paso 2 esqueleto → STORYBOARD.md (fotogramas, grupos TBD); Paso 3 plan → completar STORYBOARD.md + frame.md; Paso 4 construir → compositions/frames/NN-*.html; Paso 5 ensamblar → index.html; Paso 6 renderizar → renders/video.mp4.

Dos ideas que lo moldean todo

  • Un único analizador, y confías en él. analyze-beatgrid.py es el único analizador de ritmo — nunca vuelvas a medir los beats con otra herramienta o de oído. Su energía / densidad / rolls / ataques / silencios son siempre fiables. Su bpm y beats_sec son fiables solo cuando la música es genuinamente rítmica; en música tranquila la rejilla es un metrónomo que el seguidor impuso, así que marca el ritmo por frases y energía y nunca hagas cortes duros sobre ella. Decidir en qué caso te encuentras es el pacing de cada fotograma (Paso 2).
  • Un fotograma = un archivo; los grupos viven dentro. El Paso 2 divide la pista en fotogramas, y cada fotograma se convierte en un archivo de composición compositions/frames/NN-<id_fotograma>.html, construido por un frame-worker. Un fotograma puede subdividirse en grupos (cada uno una plantilla o una combinación de primitivas de movimiento). La densidad extra va dentro de un grupo, así que el número de fotogramas refleja tratamientos distintos, no beats — una pista rápida no dispara el número de subagentes.

Paso 0: Configuración, BGM y entradas

Objetivo: Establecer la fuente de música, crear el proyecto HyperFrames y anotar cualquier medio proporcionado por el usuario.

La música es la columna vertebral — establece una pista antes que cualquier otra cosa. Esta habilidad está optimizada para BGM rápida y de alta energía: una rejilla de ritmo fuerte impulsa los cortes (las pistas tranquilas funcionan, pero marca el ritmo por frase en lugar de por beat). Si el usuario te dio audio — un archivo de música o un vídeo del que extraer el audio — úsalo. Si no, genera uno: elige el estado de ánimo de la descripción del usuario (ej. "synthwave intenso", "trap beat", "corporativo optimista") y produce una pista a través de /hyperframes-media (references/bgm.md — recuperación de HeyGen si hay credenciales, si no Lyria / MusicGen local; ElevenLabs u otro generador también funciona). Antes de generar, ejecuta npx hyperframes auth status y transmite su salida textualmente (no la parafrasees ni la reescribas) — muestra si el BGM proviene de HeyGen o de MusicGen local y, si no has iniciado sesión, cómo hacerlo. Si no has iniciado sesión, DETENTE y espera a que el usuario elija — iniciar sesión, o continuar sin conexión con MusicGen local — antes de generar la pista; no escribas claves en un .env por repositorio. (En modo autónomo, anota el estado y continúa sin conexión). Consulta /hyperframes-media → Preflight para obtener la guía canónica. De cualquier manera, la pista termina en assets/bgm.mp3. Organiza las imágenes o vídeos proporcionados por el usuario para que los fotogramas puedan integrarlos en la rejilla de ritmo; de lo contrario, la tipografía carga con todo el vídeo.

Inicializa solo si falta hyperframes.json. Nombra <proyecto> a partir del briefing en kebab-case, como midnight-drive-loop — nunca una marca de tiempo. init verifica las habilidades instaladas comparándolas con las últimas en GitHub y actualiza el conjunto global si alguna está desactualizada.

npx hyperframes init "videos/<proyecto>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<musica-del-usuario>" "$PROJECT_DIR/assets/bgm.mp3"   # extrae de un vídeo primero si es necesario
# solo si el usuario te dio imágenes/vídeos:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public

La marca (fuente + paleta) se elige en el Paso 3, no aquí. No elijas un género o un tipo de pista por adelantado — los activos son solo un ingrediente opcional, y el género surge de las elecciones por fotograma.

Puerta: hyperframes.json + assets/bgm.mp3 existen; se anotan la relación de aspecto, duración, fps y (si los hay) el inventario de activos.


Paso 1: Analizar la música

Objetivo: Producir el único análisis temporal canónico sobre el que se construye todo el vídeo.

analyze-beatgrid.py es el único analizador de ritmo — nunca vuelvas a medir los beats con otra herramienta o de oído. Lee la pista una vez y escribe audiomap.json: fases de energía (nivel / densidad / sensación), ataques + onset_rate, rolls, silencios, hard_stops, key_moments, frases, tempo / rejilla y audio.duration_sec. Es determinista — el mismo archivo siempre da el mismo mapa. La mayoría de los campos son fiables en cualquier música; bpm y beats_sec solo son fiables cuando la música es genuinamente rítmica, y juzgar eso es la decisión que tomas en el Paso 2.

Requisitos previos: Python 3 con librosa, numpy y soundfile disponibles. Si falla la importación, instálalos en el entorno Python activo antes de ejecutar el analizador:

python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
  -o "$PROJECT_DIR/audiomap.json" --print

Puerta: audiomap.json existe; se conoce audio.duration_sec.


Paso 2: Esqueleto de fotogramas (solo estructura)

Objetivo: Leer la música y diseñar los fotogramas — el esqueleto de STORYBOARD.md.

Lee references/frame-skeleton.md. Convierte audiomap.json en el esqueleto de STORYBOARD.md tú mismo — no hay un JSON intermedio. Divide la pista en fotogramas en los cambios musicales reales (hard_stops, key_moments SURGE / DROP, los bordes de un roll, un tramo sin ataques, un gran salto de energía), ajustando cada límite a un ancla del mapa de audio. Para cada fotograma, establece span_sec, pacing (el veredicto de la llamada de confianza del Paso 1 — beat_cut cuando la rejilla es real, phrase_flow cuando es un metrónomo impuesto sobre música tranquila), mood y un feel de una línea (la situación musical simple que el Paso 3 empareja con una plantilla). Aquí solo clasifica y diseña: deja cada ### Groups de fotograma como TBD (Paso 3) y el style del frontmatter en blanco — sin plantillas, texto, color ni fuentes. Espera entre ~1 y 6 fotogramas.

Puerta: los fotogramas cubren la pista (primero en 0, último en duration_s); cada uno lleva span_sec + pacing + mood + feel; cada ### Groups es TBD; no hay contenido en ninguna parte.


Paso 3: Completar el plan (con puerta de usuario)

Objetivo: Convertir el esqueleto en un STORYBOARD.md aprobado y completo.

Lee references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md y montage.md (solo si el usuario proporcionó activos). Editando el mismo archivo en su lugar, haz dos cosas:

  1. Elige la marca. Selecciona un preset de ../hyperframes-creative/frame-presets/ usando la tabla en ../hyperframes-creative/references/design-spec.md (empareja el estado de ánimo de la pista; solo importan sus fuentes y colores — las plantillas son dueñas de la composición). Cópialo en frame.md sin modificar y completa el style del frontmatter (fuente + una paleta de ≤4–6 muestras) a partir de él.
  2. Completa cada fotograma. Decide sus grupos y dale a cada uno un tratamiento: una plantilla emparejada del catálogo (con parámetros vinculados y anclas reales del mapa de audio), una composición libre del catálogo de primitivas, o un tratamiento de activos que obedezca pacing. Escribe el texto. Tú eres dueño del QUÉ (plantilla / primitivas + contenido + anclas); el frame-worker es dueño del CÓMO — nunca escribas interpolaciones de milisegundos en el storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates

Corrige cada ✗ (errores duros: desajuste de duración, fotogramas que no cubren la pista, un src faltante); las advertencias son de mejor esfuerzo. Luego muestra al usuario un resumen fotograma por fotograma e itera hasta que lo apruebe.

Puerta: frame.md es una copia textual de un preset; validate-plan.mjs sale con 0; el usuario aprobó el plan.


Paso 4: Construir fotogramas a partir del plan

Objetivo: Construir cada fotograma como un archivo de composición autónomo.

Crea compositions/frames/. Lee sub-agents/frame-worker.md y ../hyperframes-core/references/subagent-dispatch.md. Despacha un frame-worker por fotograma, en paralelo cuando sea posible (si no, en oleadas). Cada worker recibe exactamente un fotograma y este contexto:

PROJECT_DIR: <ruta abs>
frame_id: <NN-id_fotograma>              # = el nombre del archivo del fotograma, ej. 02-f2; el id de la composición
Tu bloque: el bloque `## Frame N — <id_fotograma>` en PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materiales: para cada grupo, <SKILL_DIR>/references/templates/<id>/index.html (plantillas) y
           <SKILL_DIR>/references/motion-primitives/<id>/ (libre); activos organizados/ (grupos de activos)
Contratos: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Lienzo: <w>×<h>   Pacing: <beat_cut|phrase_flow>
Escribir en: PROJECT_DIR/compositions/frames/<id_fotograma>.html

El worker bifurca los materiales citados, convierte cada ancla a segundos locales del fotograma (local_t = track_t − span_sec[0]), compuerta sus grupos con cortes de 0 ms y escribe un archivo de fotograma seguro para búsqueda. El worker nunca ejecuta el CLI de hyperframes — esos comandos operan sobre el proyecto ensamblado, que aún no existe, por lo que informarían sobre los archivos incorrectos. El worker solo escribe según el contrato y se detiene; tú verificas después del ensamblaje (Paso 6). A medida que cada worker regresa, puedes confirmar que su archivo ha aterrizado en el disco.

Puerta: cada fotograma tiene su compositions/frames/NN-*.html en el disco.


Paso 5: Ensamblar

Objetivo: Conectar los fotogramas construidos + BGM en el index.html reproducible.

assemble-index.mjs es determinista — sin subagente, sin juicio. Hace referencia a cada archivo de fotograma en su data-start acumulativo, monta assets/bgm.mp3 en la pista 11 y hace cortes duros de fotograma a fotograma (los fotogramas cubren la pista sin espacios, por lo que no hay inyector de transiciones).

node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"

Corrige cualquier ✗ que reporte — un archivo de fotograma faltante o en blanco significa que ese worker escribió un archivo parcial; re-despáchalo (Paso 4) y vuelve a ensamblar.

Puerta: index.html existe; duración total == audiomap.audio.duration_sec.


Paso 6: Verificar y renderizar

Objetivo: Verificar el vídeo ensamblado, obtener la aprobación del usuario y renderizar el MP4 final.

Ejecuta el CLI en el proyecto ensamblado — esa es la unidad correcta (los workers por fotograma no podían ejecutarlo). lint comprueba la estructura, validate ejecuta Chrome sin cabeza (detectando errores JS y activos faltantes), inspect captura fotogramas.

( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )

Inspecciona en t=0, cada inicio de fotograma, el DROP / SURGE más fuerte, cada hard_stops[].t y el fotograma final. En caso de fallo, haz la solución segura más barata tú mismo: edita el archivo compositions/frames/NN-*.html problemático. Nunca cambies la duración o el tiempo del audio para ocultar un problema de sincronización. Una vez que las puertas pasen, pausa para la revisión del usuario, luego renderiza solo tras la aprobación:

( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )

Puerta: lint / validate / inspect pasaron; el usuario aprobó; renders/video.mp4 existe con audio, duración == audiomap.audio.duration_sec. La respuesta final indica la ruta del MP4 y la duración.


Tabla de reanudación

TienesContinuar desde
Solo assets/bgm.mp3Paso 1
audiomap.jsonPaso 2
STORYBOARD.md (esqueleto)Paso 3
STORYBOARD.md (completo)Paso 4
Todos los archivos de fotogramaPaso 5
index.htmlPaso 6

Referencia rápida

Formatos: apaisado 1920x1080 por defecto; vertical 1080x1920; cuadrado 1080x1080. Establece el lienzo una vez en el frontmatter del storyboard (canvas: { w, h, fps }).

Scripts en scripts/: analyze-beatgrid.py (el único analizador), validate-plan.mjs (comprobación del plan), assemble-index.mjs (ensamblaje del índice), stage-assets.mjs (organizar medios del usuario), lib/storyboard.mjs (analizador sintáctico empaquetado). Todo lo demás es el CLI de hyperframes.

LeeCuándo
references/frame-skeleton.mdPaso 2: leer la música, diseñar los fotogramas, establecer el pacing
references/planning.md · storyboard-format.mdPaso 3: elegir la marca, completar cada fotograma, escribir el plan
references/template-catalog.mdPaso 3: elegir una plantilla por grupo
references/motion-primitive-catalog.mdPaso 3: elegir primitivas de movimiento por grupo (si no se usa plantilla)
references/montage.mdPaso 3: solo si el usuario proporcionó activos; aplicar tratamientos de montaje
../hyperframes-creative/references/design-spec.mdPaso 3: elegir la marca (fuentes + paleta)
sub-agents/frame-worker.mdPaso 4: contrato de construcción de fotogramas
../hyperframes-core/references/subagent-dispatch.mdPaso 4: cómo despachar cada subagente
../hyperframes-core/references/sub-compositions.mdPaso 4: contrato de composiciones (código)
../hyperframes-core/references/determinism-rules.mdPaso 4: reglas de determinismo

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Army161/OpenMontage

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax). Supports two gateways: HeyGen API and fal.ai API.

Army161/OpenMontage

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Army161/OpenMontage

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Army161/OpenMontage

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Army161/OpenMontage

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Army161/OpenMontage

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

Army161/OpenMontage

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Army161/OpenMontage

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Army161/OpenMontage

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Army161/OpenMontage

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Army161/OpenMontage

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Army161/OpenMontage

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Army161/OpenMontage

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

Army161/OpenMontage

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Army161/OpenMontage

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Army161/OpenMontage

Best practices for Remotion - Video creation in React

Army161/OpenMontage

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Army161/OpenMontage

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Army161/OpenMontage

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

Army161/OpenMontage

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

Skills relacionados