¿Qué hace MV de código impulsado por letras?
Convierte la emoción de una canción en una actuación de juego visible: la letra decide qué dibujar, la música decide cuándo enfatizar. Expresa el significado mediante objetivos, acciones, retroalimentación y resultados del personaje; las barras de progreso, objetos y transiciones sirven a esta cadena causal.
De los antecedentes de la canción al personaje y la historia
Al crear o reescribir la narrativa, si el personaje o la tarea no están especificados, usa activamente la herramienta de búsqueda en línea del asistente actual, sin pedir al usuario que invente primero la historia. Solo especifica el personaje, conserva el personaje y completa la trama; solo especifica la trama, conserva la trama y completa el personaje. Si ambos ya están especificados, o solo se modifican subtítulos, mezcla o exportación en un proyecto existente, no inicies este paso.
- Identifica la obra. Busca de forma cruzada por nombre de la canción, compositor, intérprete y versión de grabación; luego busca con "nombre de la canción + origen / entrevista" y palabras clave en el idioma original. Distingue el contexto original de la interpretación del cover. Si hay obras con el mismo nombre que no se pueden distinguir y cambiarían la trama, pregunta por la versión. Solo busca identificadores públicos, no subas grabaciones privadas o letras no publicadas; no busques si el usuario ha desactivado la conexión.
- Encuentra hechos citables. Abre entrevistas del creador, notas oficiales del álbum o reportajes de la época; no uses resúmenes de búsqueda como fuente. En las notas de producción del proyecto, registra el título, enlace, hechos respaldados y la toma que los utiliza. Si no hay fuente que relacione una experiencia real con la obra, no la presentes como motivación creativa; el "yo" en la letra tampoco equivale automáticamente al cantante.
- Deja que el contexto impulse la acción. Primero, resume en una frase el objetivo, obstáculo, elección y desenlace del protagonista; luego, organiza acciones y consecuencias visibles según los párrafos reales de la canción. Por defecto, se pueden usar personajes originales para traducir el contexto real, distinguiendo claramente entre hechos y adaptación. Por ejemplo, si solo se confirma que la obra está relacionada con una mudanza, un protagonista ficticio podría empacar objetos viejos en el verso, intentar devolver las llaves en el estribillo, y decidir quedárselas al final. La mudanza tiene fuente; las llaves son un recurso narrativo, no una anécdota real.
- Llega al producto final. Escribe al personaje en
actors, y las acciones y consecuencias enobjective,action,feedback,outcomede cada toma; y muéstralo realmente en el dibujo delscene.idcorrespondiente. Los estribillos repetidos deben mostrar el cambio causado por la elección anterior. Continúa con los pasos de muestra, renderizado y revisión a continuación; entrega según la duración solicitada por el usuario, no te detengas en el resumen de antecedentes. Si no se puede conectar a Internet o no se encuentran materiales fiables, explica las limitaciones, crea según la letra o el estado de ánimo instrumental, y marca como "Interpretación original, no basada en experiencias reales".
Las plantillas detalladas para la configuración de personajes, registros de investigación y arcos narrativos están en De una canción a un storyboard continuo. Desde el análisis de la canción, indicaciones por etapas, hasta la muestra de acción y entrega, puedes continuar leyendo Producción por fases de MV pixelado. Si el producto final ya tiene problemas de personajes, clímax, claridad o transiciones, lee primero Revisión avanzada y optimización dirigida, y modifica y reevalúa según la misma escala.
Flujo de trabajo
Primero, verifica las dependencias. Pillow solo es usado por scripts de Python en scripts/, declarado en requirements.txt del directorio del skill. Primero ejecuta python -c "import PIL" para verificar e informar si falta; si realmente necesita instalación, explica Pillow, la versión, el propósito y el comando de instalación al usuario, y obtén su consentimiento antes de ejecutarlo; no pongas pip install en la verificación automática.
En el lado de Node, cero paquetes de terceros: los .mjs en scripts/, assets/scenes/, assets/templates/starter/ solo importan módulos incorporados de node:; no hay package.json en el directorio del skill, no necesita npm install, funciona offline – igual que validate-storyboard.mjs y hud-density.mjs. FFmpeg/FFprobe son binarios del sistema, verifica en el paso 4.
- Entrada fija y evidencia. Confirma el archivo de la canción y su versión, corrige la letra, el rango de captura, el tamaño de fotograma, la configuración del personaje y el alcance de entrega. Al buscar la canción por tu cuenta, lee primero Audio y derechos y verifica las condiciones de uso de la obra y la grabación. Al analizar material de referencia, registra los hechos visibles, los resultados de verificación de audio y las inferencias de implementación; solo cuando se haya completado la verificación de todo el período se dice "he visto el video completo". Si la herramienta del autor no tiene código fuente o evidencia declarada, márcalo como desconocido.
- Establece dos líneas de tiempo. Marca el inicio y fin de las frases, párrafos, acentos importantes y silencios; la tabla semántica registra las relaciones entre personajes, imágenes y acciones. Lee Tiempo y storyboard y unifica las coordenadas del producto final con el desplazamiento de la canción original. Si hay música instrumental con subtítulos narrativos originales, explica el rol del texto, no lo trates como transcripción de canto. Si ya tienes FFmpeg, usa primero
scripts/analyze-audio.mjspara generar candidatos offline de energía, pausas, ataques y BPM/fase; para verificar tomas y subtítulos en el mismo eje, lee Cuadros de sincronización candidatos. No tomes los candidatos como alineación de letras; también puedes completar un borrador de anotaciones transparentes sin poder escuchar. - Primero verifica la reconocibilidad del personaje, luego elige el dispositivo y escenario. Para más de tres personajes principales, establece primero una tarjeta de personaje y una silueta negra pura a escala igual para comparar; después de quitar el nombre, color y accesorios pequeños, aún se debe poder distinguir a cada persona por al menos dos de las siguientes: contorno de cabeza/vestimenta, proporción corporal o postura. El tamaño mínimo real de visualización del grupo y los primeros planos individuales deben pasar la prueba; si falla, redibuja primero al personaje, no lo encubras cambiando colores, agregando pequeños adornos o filtros.
- Primero elige el dispositivo, luego el escenario. Primero determina el chat, sistema de juego, línea de tiempo, contador, cartel de capítulo, perspectiva o escenario de material; luego escribe objetivo→acción→retroalimentación→resultado para cada toma. Usa
chapters[]para registrar carteles de título, etapas de relación y liquidación; usascene.hud[]para expresar valores numéricos, estado, reinicio, daño o retroalimentación emocional de fallo; para la misma composición con cambio de estación, material o época, escribematerialVariant. La duración de la toma se determina por la densidad de información, sin límite fijo; se recomienda al menos un cambio legible cada 8–12 segundos, aunque las tomas largas también pueden usarse para espera y silencio. Consulta Dispositivos y capítulos y HUD y subtítulos; si necesitas un esqueleto listo, elige entre los cinco JSON de Plantillas de dispositivos (mensaje privado, carga de archivo, lista, liquidación, control deslizante de doble eje) y modifícalo, no empieces desde cero. Organiza las imágenes recurrentes con primera aparición, cambio y reaparición; los estribillos repetidos agregan información o consecuencias. Conserva la identidad del personaje, vestimenta y objetos con su contexto. Para arte pixelado, cámara, subtítulos y narrativa de dos personajes, lee Mundo pixelado y actuación. - Elige una ruta de implementación. Sigue el framework especificado por el usuario y el proyecto existente. Si no hay framework y se necesita un proyecto mínimo ejecutable, copia todo
assets/templates/starter/; ya contiene el núcleo compartido y archivos de ejecución, después de copiar se puede ejecutar independientementenode export.mjs --help. Los proyectos de efectos HTML pueden usar HyperFrames, los proyectos de React priorizan Remotion. Antes de implementar, lee Dependencias y entrega y enumera los elementos necesarios, existentes y opcionales; antes de instalar paquetes, descargar navegador/modelo/fuente, usar API o servicios de pago, explica y conserva la licencia existente. - Completa un fragmento representativo. Para una obra nueva, entrega primero la tarjeta de personaje/tabla de siluetas, la tira de acción a tamaño real y una muestra de aproximadamente 10–15 segundos; si hay más de tres protagonistas, la muestra debe incluir simultáneamente una toma de reconocimiento individual y una toma grupal, confirmando que después de pasar del primer plano individual al grupo se sigue reconociendo al mismo personaje. La muestra también debe incluir la tarea de imagen de la letra, cambios de retroalimentación y transiciones; si el usuario especifica otra duración o modifica un proyecto existente, se ajusta a su alcance. El JSON del storyboard sirve como fuente verdadera para duración, letra, límites de escena, transiciones y estado musical; el código proporciona el dibujo según
scene.id. Cada fotograma se evalúa directamente por el tiempo, con semilla fija para partículas. La transición de salida ocupa el final de la toma anterior, la siguiente toma fijalocal=0de pre-roll, sin aumentar la duración total. Ejecuta la validación estructural y la comparación de píxeles duplicados, invertidos y desordenados descripts/qa.mjs. - Expansión y aceptación. Primero previsualiza el fragmento representativo, verifica los picos de acción, final de frase, transiciones, panel de letras y bordes de cámara; luego expande el alcance autorizado. Al referenciar videos de letras pixeladas, usa
captionStyle.mode:"scene-panel"en el nivel superior del storyboard, para que la previsualización del navegador, la exportación ASS y los carteles de capítulo mantengan los mismos parámetros de panel blanco cálido/borde/pixel; si no se proporciona, conserva los subtítulos inferiores normales para compatibilidad con versiones anteriores. Después de la exportación, ejecuta verificación de FFprobe, decodificación completa, tabla de contactos y fotogramas clave; si hay condiciones de reproducción, reproduce completamente y registra las comprobaciones realmente realizadas. Si no se puede escuchar, entregadraft, especifica claramente los puntos pendientes de verificación, no afirmes que el audio y el video han sido verificados.
Evidencia musical y etapa de entrega
music.status | Condición | Obligación de entrega |
|---|---|---|
illustrative | Puntos de tiempo auto-creados, pista de audio provisional o demostración original | Mostrar "Puntos de tiempo de demostración" al inicio, registrar presentationNotice:true; explicar que no es el resultado de alineación con la canción real correspondiente |
draft | Audio existente, análisis automático o anotaciones sin escuchar | evidence.method escribe el método de estimación, limitations escribe las fuentes de error; pendingChecks[] registra intervalos de tiempo específicos y contenido no confirmado, permite entregar un borrador del producto final |
verified | Se verificaron manualmente el audio relevante, la letra y los puntos clave | Registrar evidence.reviewer, reviewedAt con marca de tiempo completa y zona horaria (ej. 2026-11-17T08:00:00Z), la nota de entrega escribe el alcance de la verificación |
El análisis automático no puede convertirse en verified. Cuando los puntos de tiempo palabra por palabra se dividen uniformemente por la longitud de la frase, los subtítulos se indican como relleno visual; la ambigüedad de velocidad media/doble del BPM, los ataques de acompañamiento, los arrastres y los desplazamientos de fuente pueden causar errores. Si falta audio, entrega primero un storyboard illustrative o una demostración, no esperes indefinidamente por no poder escuchar. El estado y la licencia son dos condiciones independientes; el estado de borrador no reemplaza el permiso de publicación.
Especificaciones de dibujo
Las escenas de píxeles se dibujan en el orden: "fondo → decoración/resplandor → sujeto → superposición frontal". La decoración debe dibujarse antes que el sujeto para evitar que resplandores, reflejos o partículas cubran el contorno del sujeto; en el starter, usa fb.layer({ glow: layer => ..., subject: layer => ... }) para fijar este orden, fb.glow(x, y, radius, color) solo dibuja el resplandor de la capa inferior. La composición del fotograma debe verificar la proporción del sujeto, el brillo general y el área de un solo color; scripts/qa.mjs puede indicar para fotogramas analizables que la proporción estimada del sujeto es inferior al 0.5%, el brillo promedio es inferior a 30/255 o un solo color supera el 60%. Estas son indicaciones de selección, no reemplazan la revisión de fotogramas.
Por ejemplo, una toma de letrero de neón primero coloca el paisaje nocturno, luego dibuja el resplandor y el letrero principal, y finalmente agrega la superposición frontal. Los dos callbacks de layer reciben la misma instancia de FB, primero se ejecuta glow, luego subject:
fb.rect(0, 0, 384, 216, nightSky); // fondo
fb.layer({
glow: layer => layer.glow(258, 72, 32, [255, 62, 164], { alpha: 0.65 }),
subject: layer => {
layer.rect(231, 52, 54, 38, [28, 26, 42]); // placa del letrero
layer.rect(237, 59, 42, 4, [255, 110, 194]); // texto del letrero
layer.rect(250, 92, 16, 42, coat); // personaje principal
},
});
fb.rect(0, 190, 384, 26, foreground); // superposición frontal
Plantillas y comandos
Copia Storyboard original de 12 segundos y reemplaza el contenido. El proyecto mínimo se encuentra en README del starter, que incluye un barco de papel, luces en ambas orillas, transición final, subtítulos de alta resolución y ritmo original generado localmente. export.mjs --storyboard lee la configuración del storyboard; para canciones reales, primero actualiza project.audio y la evidencia; --audio solo puede reubicar el mismo material, ajustar o registrar el dibujo según scene.id. La exportación guarda el hash real de la pista de audio y el registro de origen; si la pista de audio externa tiene credit, genera un crédito corto al final; antes de publicar, verifica aún la obligación completa de créditos. Los subtítulos y las indicaciones de estado musical se generan a partir del JSON.
Los siguientes se ejecutan en el directorio raíz del proyecto de video; reemplaza <SKILL_DIR> con la ruta absoluta del directorio de instalación del skill, las entradas de storyboard/material también usan la ruta correspondiente; todas las salidas de work/ son relativas al directorio raíz del proyecto de video. No ejecutes comandos que escriban archivos desde el directorio de instalación del skill:
node "<SKILL_DIR>/scripts/analyze-audio.mjs" path/to/song.wav --start 37.2 --duration 12 --out work/audio-analysis.json
node "<SKILL_DIR>/scripts/validate-storyboard.mjs" "<SKILL_DIR>/assets/storyboard-example.json"
node "<SKILL_DIR>/scripts/validate-storyboard.mjs" path/to/storyboard.json --delivery
node "<SKILL_DIR>/scripts/visualize-sync.mjs" path/to/storyboard.json work/audio-analysis.json --out work/sync-review.svg
node "<SKILL_DIR>/scripts/qa.mjs" "<SKILL_DIR>/assets/templates/starter/frame.mjs" --duration 12 --fps 30 --storyboard "<SKILL_DIR>/assets/storyboard-example.json" --out work/qa.json
node "<SKILL_DIR>/scripts/verify-sfx.mjs" --audio work/mixed.wav --storyboard work/storyboard.json --window-ms 50 --out work/sfx-evidence.json
node "<SKILL_DIR>/scripts/lrc.mjs" --lrc work/song.lrc --offset 12 --storyboard work/storyboard.json --out work/lyrics.json
node "<SKILL_DIR>/scripts/new-storyboard.mjs" --preset narrative-12 --duration 90 --lyrics work/lyrics.json --out work/storyboard.json
node "<SKILL_DIR>/assets/templates/starter/export.mjs" --storyboard "<SKILL_DIR>/assets/storyboard-example.json" --out work/demo.mp4
node "<SKILL_DIR>/assets/templates/starter/export.mjs" --frame-time 5.55 --frame-out work/world-frame.png
node "<SKILL_DIR>/assets/templates/starter/export.mjs" --storyboard path/to/storyboard.json --audio path/to/song.wav --out work/mv.mp4
Mide el ritmo, revisa audio/video, verifica zonas seguras, crea carteles de título pixelados:
node "<SKILL_DIR>/scripts/hud-density.mjs" path/to/storyboard.json --max-gap 12 # Densidad de cambios legibles y ventana de silencio
python "<SKILL_DIR>/scripts/sync-audit.py" path/to/storyboard.json \
--analysis work/audio-analysis.json --video work/mv.mp4 # Un comando para verificar todos los problemas de tiempo antes de la entrega
python "<SKILL_DIR>/scripts/layout-check.py" path/to/storyboard.json \
--hud "Archivo:56,44,596,200" --hud "Nivel de divinidad:1256,44,1794,200" \
--log "56,700,640,880" --subtitle-band "360,930,1560,988" \
--safe "right=124,bottom=92" --scenes "s09-ledger:full-ui"
python "<SKILL_DIR>/scripts/timeline-sync.py" song.wav --storyboard storyboard.json -o work/timeline.png
python "<SKILL_DIR>/scripts/safe-area.py" --video work/mv.mp4 --at 3 10 -o work/check.png
python "<SKILL_DIR>/scripts/film-sheet.py" shots/<nombre_de_película> -o sheet.jpg --cols 3
python "<SKILL_DIR>/scripts/pixel-font.py" --sample work/title-sample.png
python "<SKILL_DIR>/scripts/minimal-renderer.py" path/to/storyboard.json --probe 0 120 300 --out work/probe
node "<SKILL_DIR>/scripts/sfx.mjs" --from-storyboard path/to/storyboard.json --out work/sfx.wav --report work/sfx-report.json
node "<SKILL_DIR>/scripts/sfx.mjs" --list
node "<SKILL_DIR>/assets/templates/starter/export.mjs" --storyboard path/to/storyboard.json --audio path/to/song.wav --sfx --out work/mv.mp4
scripts/lrc.mjs agrega los puntos de tiempo LRC al reloj del fragmento según --offset segundos, deduciendo end línea por línea; si se proporciona --storyboard, agrega allowSceneSplit y la razón para las letras que cruzan escenas. scripts/new-storyboard.mjs genera un esqueleto de 12 tomas para completar, las letras se pueden importar directamente desde JSON. Doce activos de dibujo se encuentran en assets/scenes, cada fábrica se puede configurar con la posición de encuadre del sujeto, paleta de colores y duración de la toma. --sfx-script PATH permite que el starter copiado use un módulo de efectos de sonido personalizado sin modificar el código fuente. El producto final no quema la marca de agua de borrador por defecto: draft tampoco cubre el texto en la imagen; el progreso de verificación se registra mediante musicStatus/draftMark y music.pendingChecks en la lista de activos exportados; si realmente se necesita una indicación visible en el producto final, escribe explícitamente project.draftMark:true (con texto project.draftMarkText).
hud-density.mjs distribuye los seis tipos de cambios (corte de toma, material, HUD, evento, efecto de sonido, subtítulo) en la línea de tiempo, informa la ventana de silencio más larga y la ventana de silencio interna de la toma; con --strict, sale con código distinto de cero si hay una ventana de silencio. sync-audit.py es el interruptor principal antes de la entrega, un comando verifica cinco tipos de problemas de tiempo: si la cuadrícula del storyboard y la cuadrícula de análisis tienen el mismo BPM, si los puntos de corte caen en el tiempo, si los eventos de escena con sync:"beat" caen en el tiempo, si las letras caen en el ataque fuerte, y si los límites de chapters y sections son iguales y caen en los puntos de corte; con --video, también mide los píxeles reales de los subtítulos desde el borde inferior/derecho del fotograma en el producto final. Debe pasar --analysis: solo revisar "puntos de corte vs cuadrícula del storyboard" dará una conclusión perfecta de 0 ms, porque los puntos de corte se ajustan desde esa misma cuadrícula – si la cuadrícula está mal, los puntos de corte, por más alineados que estén, no sirven (el evidence del storyboard antiguo decía "98.8, 144.1 son otros candidatos fuertes no adoptados", precisamente este ciclo autocontenido). Sin --analysis, las letras solo se indican según el tiempo, con criterios más débiles, y tampoco se marcan como error. La desviación entre letras y ataques fuertes solo se indica, no se marca como error: la detección de ataque busca transitorios de energía (golpes de batería, sonidos explosivos, inicio de consonantes), cuando la voz entra suavemente con notas ligadas largas, no hay transitorio que encontrar; esa "no está en el ataque fuerte" es una ceguera del detector, no un error de alineación – en una prueba, 9 de 13 líneas estaban a 100–800 ms del ataque fuerte más cercano, pero la diferencia de fase entre la pista de audio real y el inicio de LRC era solo de 1.2 ms; el error está en el criterio, no en la línea de tiempo; LRC es anotación manual, más fiable que la detección heurística en este caso, por lo que las líneas fuera de tolerancia solo se listan como candidatos (incluyendo candidatos en dirección opuesta), dejando la decisión al oído humano. timeline-sync.py toma la envolvente de energía de la pista de audio y estima los tiempos, los dibuja junto con los cortes y subtítulos en la misma imagen; los BPM marcados como speculative solo pueden usarse para detectar si todo un segmento está mal ajustado, no para afirmar sincronización; --align beats prioriza los music.beats del storyboard como puntos de referencia, solo si no existen, usa sus propios tiempos estimados. safe-area.py superpone la zona segura de la plataforma (superior, inferior 8.5%, derecha 6.5%, 4:3, 9:16); el borde inferior de los subtítulos y el HUD deben evitar estas zonas; el límite inferior de 1080p es 92 px. layout-check.py verifica, en píxeles del producto final, la superposición entre HUD, entre HUD y la banda de subtítulos, y los rectángulos que salen de la zona segura; los rectángulos se escriben como nombre:x,y,x1,y1 (esquina superior izquierda + esquina inferior derecha, todos píxeles absolutos, no ancho/alto); --subtitle-band pasa el rectángulo más externo que incluye la banda inferior y el borde; --scenes "s09-ledger:full-ui" permite eximir la verificación de HUD para esa escena de pantalla completa, pero la banda de subtítulos sigue sujeta a la restricción de zona segura. minimal-renderer.py es un renderizador mínimo para verificación de marcadores de posición y diseño (cartel de título + HUD numérico + subtítulos bilingües), no incluye dibujo de escenas, no sirve como renderizador de producto final; para completitud visual, usa el starter o el proyecto propio del usuario. sfx.mjs sintetiza ocho tipos de efectos de sonido (tick/type/click/whoosh/confirm/error/riser/chime), con duración estrictamente igual a project.duration, para su uso en mezcla; la relación de alineación de dos capas se describe en Capa de efectos de sonido y puntos de ajuste – la imagen sigue el tiempo, los efectos de sonido siguen el mismo fotograma que la imagen, los efectos de sonido no siguen el tiempo.
El validador mantiene validateStoryboard(data) → errors[], proporciona analyzeStoryboard(data,{beatToleranceMs,delivery}) → {errors,warnings}. Las indicaciones normales no cambian el código de salida; --strict solo trata las advertencias de la verificación estructural como fallos, aprobar no demuestra que sea publicable o verified. --delivery verifica el registro de licencia, la evidencia musical y la lista de verificación pendiente de borrador; las reglas de campo se encuentran en la referencia de tiempo y storyboard. Las letras que cruzan escenas, los eventos de tiempo explícitos, el soporte de HUD, la cobertura de dispositivo/capítulo y los elementos de licencia faltantes tienen indicaciones localizables; la herramienta no demuestra corrección semántica, validez de licencia o sincronización real de audio y video.
Estándares de finalización
- Sin los subtítulos, la acción aún explica el significado del párrafo; los cambios de HUD se pueden rastrear hasta la acción; los objetos se obtienen antes de usarse.
- Los personajes principales son distinguibles entre siluetas negras puras, tamaño mínimo de grupo y primeros planos individuales, no solo por color, nombre o accesorios pequeños; los primeros planos individuales usan activos de detalle independientes, no amplían sprites de grupo de baja resolución.
- Las secciones repetidas tienen desarrollo; la espera, el fracaso, la finalización y el silencio son acordes con el estado de ánimo de la canción.
- La repetición del mismo fotograma y la evaluación desordenada son consistentes; no hay deriva de estado entre el inicio y el final, en cada toma y en las transiciones; el movimiento de la cámara no muestra negro, los subtítulos son claros.
- El borde inferior de los subtítulos y el HUD están dentro de la zona segura de la plataforma: usa
safe-area.pypara superponer un fotograma y confirmar, no solo mires el producto final. - La ventana de silencio más larga reportada por
hud-density.mjsno supera los 12 segundos; si la supera, primero agrega cambios, no agregues tomas. - Los efectos de sonido caen en eventos de imagen (no en tiempos),
project.sfx[]/scene.sfx[]pasan la validación; después de la mezcla, los picos no se recortan. - Los flujos de audio y video del producto final, la duración, el tamaño de fotograma y la velocidad de fotogramas son correctos; el estado de la evidencia musical y el alcance real de la verificación están escritos claramente.
- Entrega archivos fuente editables, datos de storyboard y análisis, fuente/licencia/crédito de recursos, archivo de bloqueo de dependencias seleccionadas (si se usan dependencias), producto final y un breve registro de aceptación. Si solo se solicita un informe, storyboard o borrador, entrega la etapa correspondiente, no expandas sin autorización a la canción completa.