Video de letra animado
El video es un extracto de una canción, una breve historia dibujada que sigue la letra, y la letra mostrada línea por línea debajo de la animación con la palabra cantada resaltada. El esqueleto (src/kit/LyricVideo.tsx) maneja el audio, encabezado, letras, créditos, handles sociales y fundidos. Tu trabajo es el extracto, los tiempos y la historia. Responde en el idioma del usuario.
0. Entradas
Obtén solo lo que falta, nada más:
- Archivo de audio y el texto de la letra. Si solo dan un título, pide los archivos. No descargues canciones.
- Artista, título de la canción, línea de crédito (ej. "Letra y música: …"), handles sociales opcionales (
{network: 'instagram' | 'youtube', handle}). - Duración máxima. Por defecto 60 s si no lo especifican.
Trabaja solo con canciones que el usuario posea o tenga permiso para usar. Nunca subas ni publiques nada.
1. Crear la canción
npm run new-song -- <kebab-id> --audio <archivo> --title "…" --artist "…" --credit "…"
Esto crea src/songs/<id>/ (configuración, letra, escenas), copia el audio a public/ y registra la composición <id>.
2. Letra, transcripción, alineación
- Escribe
src/songs/<id>/lyrics.txt: una línea por línea de pantalla, en orden de canto, repite los coros según aparecen. 2–7 palabras por línea funcionan bien; divide líneas más largas en una pausa natural. python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <código>- Selecciona el extracto y establece
start/endenconfig.ts:- quédate dentro de la duración máxima;
- comienza 2–3 s antes de la primera línea cantada que mantengas (espacio para una escena de portada);
- termina después de una frase completa, idealmente una línea del coro, más ~1.5 s para el fundido (el esqueleto funde audio e imagen durante los últimos ~1.8 s);
- usa los tiempos de segmentos de
transcription.jsonpara encontrar límites de frases.
python scripts/align.py src/songs/<id>y lee su informe:- "not heard: timing estimated": Whisper saltó la línea; el tiempo es una estimación. Prueba un modelo más grande (
--model mlx-community/whisper-large-v3-mlxo--model large-v3) o arréglalo a mano enlyrics.ts. - "Dropped": líneas fuera del extracto. Esperado si el usuario pegó la canción completa.
- Las palabras de Whisper suelen estar equivocadas; la letra del usuario es la correcta. Nunca "corrijas" la letra del usuario para que coincida con Whisper. Si la grabación claramente canta palabras diferentes, díselo al usuario y pregunta qué versión mostrar.
- "not heard: timing estimated": Whisper saltó la línea; el tiempo es una estimación. Prueba un modelo más grande (
3. Escribe la historia antes del código
Crea una hoja de ruta breve: un latido por línea (o por pareado), con su tiempo de inicio de lyrics.ts. Luego convierte los latidos en escenas.
Reglas de estilo. Estas son las que hacen que los videos funcionen; síguelas:
- Sugiere, no ilustres palabra por palabra. Sin palabras en pantalla ni onomatopeyas que repitan la letra: sin carteles, etiquetas, destinos, globos de diálogo, "GUAU", "shhh", "∞". Cuéntalo con acción, objetos, luz, clima, color y motivos recurrentes. Si una línea nombra algo (un tren, un perro, una llamada telefónica), pregunta qué significa en la historia y muéstralo en su lugar, o muestra la cosa sin nombrarla.
- Una historia, un elenco. Mantén los mismos personajes y algunos escenarios y objetos recurrentes, para que el video se lea como una historia y no como una presentación.
- Acierta en las palabras clave. Temporiza los golpes, impactos y cambios al inicio de la palabra importante (
pop(t, word.start),sacudida(t, word.start)). - Siempre en movimiento. Ningún cuadro debe estar quieto más de aproximadamente un segundo.
- Respeta el diseño. Dibuja la escena entre y≈300 y y≈1100 en el lienzo de 1080x1920. El encabezado está arriba, la letra comienza en y≈1150.
- Las escenas cambian aproximadamente 0.3–0.5 s antes de la línea que ilustran; el esqueleto hace un fundido cruzado de 0.12 s.
- La primera escena es una portada (artista y título, antes de las voces). El encabezado aparece cuando comienza la segunda escena.
4. Codifica las escenas
Edita src/songs/<id>/scenes.tsx. Una escena es un componente que recibe t, el tiempo de la canción en segundos, y dibuja dentro de <Lienzo>:
const Meeting: Escena = ({t}) => {
const k = u(t, 31.2, 33.0); // 0→1 entre dos segundos de canción
return (
<Lienzo>
<FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
<Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
<Corazon x={540} y={420} s={pop(t, 33.0)} />
</Lienzo>
);
};
export const SCENES = [
{at: CONFIG.start, C: Cover},
{at: 30.9, C: Meeting},
];
Referencia del kit (los nombres están en español; README.md tiene un glosario). Navega por cada pieza en la composición kit-gallery.
- Ayudantes de tiempo (
kit.tsx):u(t, a, b)progreso 0→1;lerp,lerp2; easingeo(out),ei(in),eio(in-out),back(sobrepaso);pop(t, at)aparición elástica;sacudida(t, at)sacudida amortiguada;rnd(i)aleatorio determinista. Nunca usesMath.random(). - Personajes:
<Persona tipo="el" | "ella" x y s mira pose enMano>.x, yson los pies.mira1 mira a la derecha, -1 a la izquierda.pose:bd/btbrazo trasero/delantero[hombro°, codo°](0 abajo, 90 adelante, 180 arriba),paso+zancada(caminar),inclina(inclinarse),cabeza(inclinación de cabeza),ojo: 'cerrado',beso,sonrojo(rubor).ikBrazo(...)apunta una mano a un punto;puntoMano,puntoCabezadevuelven puntos del lienzo.<Pareja k>: 0 separados, 1 besándose.<Perro>. - Escenarios:
FondoPuerto(puerto, paletasPAL.noche | ocaso | alba),FondoHuerto(huerto),FondoTejados(tejados),FachadaFondo+FachadaFrente(balcón; dibuja personajes entre ellos),FondoBar,FondoInfierno,FondoTapia(pared encalada),FondoEstacion(estación, pasa untren),FondoDescampado(descampado de noche). El suelo es y=985 en la mayoría (MUELLE_Y,ANDEN_Y); suelo del balcónBALCON_Y, calleCALLE_Y. - Objetos:
Barco,Tren+Humo,Coche(ventanillas empañadas, corazón dibujado en el vaho),Casa,Arbol,Banco,Maleta,Polaroid,Corazon,Labios,Flor,Manzana,Anillo,NeonCopa,Gaviota,Destello,Estallido(explosión de corazones y labios),Flotantes(corazones flotantes),Recuerdo(tinte de memoria),Luna,Estrellas,Mar,Cielo.
Reglas prácticas: cada id de gradiente/clip debe ser único en todo el video (prefija con el nombre de la escena); calcula todo a partir de t (sin estado); dibuja de atrás hacia adelante.
Las piezas nuevas van en src/kit/, con el mismo estilo: colores planos, sin contornos, dibujadas alrededor de su propio origen, con una propiedad de escala s. Agrégalas a Gallery.tsx.
5. Revisar cuadros
npm run typecheck
npm run stills -- <id> <segundo> <segundo> …
Pide cuadros al inicio y mitad de cada escena y en cada palabra clave. Escribe out/stills/<id>/sheet.jpg; revísalo y corrige antes de renderizar: legibilidad, nada que cubra rostros, nada en el área de encabezado o letra, mismos personajes en todo, sin etiquetas literales, la letra mostrada coincide con el momento del audio.
6. Renderizar e informar
npm run render -- <id>
Salida: out/<id>.mp4, 1080x1920, 30 fps, H.264 + AAC. Revisa su duración con ffprobe e informa al usuario: ruta del archivo, duración, el extracto usado, la historia en dos o tres oraciones, y cada tiempo que estimaste o duda de letra que encontraste. Di que revisaste cuadros fijos, no el video en reproducción.