Communitygithub.com

video-de-letra-animado

Crea un video vertical de letras animadas (una historia dibujada con karaoke de letras justo debajo) para YouTube Shorts, Instagram Reels o TikTok, usando el kit Remotion de este repositorio. Úsalo cuando el usuario proporcione una canción (archivo de audio y letra) y desee un video animado o de letras.

¿Qué es video-de-letra-animado?

Esta habilidad transforma un archivo de audio y su letra en un video vertical animado con estilo karaoke, ideal para redes sociales como YouTube Shorts, Instagram Reels o TikTok. El video combina una breve historia ilustrada que sigue la letra de la canción, con cada línea mostrada debajo de la animación y la palabra cantada resaltada. El esqueleto del componente (`src/kit/LyricVideo.tsx`) maneja el audio, encabezados, letras, créditos y fundidos, mientras que el usuario se enfoca en seleccionar el extracto, definir los tiempos y crear la narrativa visual. La habilidad incluye herramientas para transcribir y alinear la letra con el audio, generar escenas con personajes y escenarios predefinidos, y renderizar el video final. Está diseñada para que el usuario narre una historia coherente con un elenco y escenarios recurrentes, evitando ilustraciones literales y asegurando movimiento constante en cada cuadro.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/fransierra97/animated-lyric-video-kit/tree/main/.claude/skills/animated-lyric-video

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Video de letra animado

El video es un extracto de una canción, una breve historia dibujada que sigue la letra, y la letra mostrada línea por línea debajo de la animación con la palabra cantada resaltada. El esqueleto (src/kit/LyricVideo.tsx) maneja el audio, encabezado, letras, créditos, handles sociales y fundidos. Tu trabajo es el extracto, los tiempos y la historia. Responde en el idioma del usuario.

0. Entradas

Obtén solo lo que falta, nada más:

  • Archivo de audio y el texto de la letra. Si solo dan un título, pide los archivos. No descargues canciones.
  • Artista, título de la canción, línea de crédito (ej. "Letra y música: …"), handles sociales opcionales ({network: 'instagram' | 'youtube', handle}).
  • Duración máxima. Por defecto 60 s si no lo especifican.

Trabaja solo con canciones que el usuario posea o tenga permiso para usar. Nunca subas ni publiques nada.

1. Crear la canción

npm run new-song -- <kebab-id> --audio <archivo> --title "…" --artist "…" --credit "…"

Esto crea src/songs/<id>/ (configuración, letra, escenas), copia el audio a public/ y registra la composición <id>.

2. Letra, transcripción, alineación

  1. Escribe src/songs/<id>/lyrics.txt: una línea por línea de pantalla, en orden de canto, repite los coros según aparecen. 2–7 palabras por línea funcionan bien; divide líneas más largas en una pausa natural.
  2. python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <código>
  3. Selecciona el extracto y establece start / end en config.ts:
    • quédate dentro de la duración máxima;
    • comienza 2–3 s antes de la primera línea cantada que mantengas (espacio para una escena de portada);
    • termina después de una frase completa, idealmente una línea del coro, más ~1.5 s para el fundido (el esqueleto funde audio e imagen durante los últimos ~1.8 s);
    • usa los tiempos de segmentos de transcription.json para encontrar límites de frases.
  4. python scripts/align.py src/songs/<id> y lee su informe:
    • "not heard: timing estimated": Whisper saltó la línea; el tiempo es una estimación. Prueba un modelo más grande (--model mlx-community/whisper-large-v3-mlx o --model large-v3) o arréglalo a mano en lyrics.ts.
    • "Dropped": líneas fuera del extracto. Esperado si el usuario pegó la canción completa.
    • Las palabras de Whisper suelen estar equivocadas; la letra del usuario es la correcta. Nunca "corrijas" la letra del usuario para que coincida con Whisper. Si la grabación claramente canta palabras diferentes, díselo al usuario y pregunta qué versión mostrar.

3. Escribe la historia antes del código

Crea una hoja de ruta breve: un latido por línea (o por pareado), con su tiempo de inicio de lyrics.ts. Luego convierte los latidos en escenas.

Reglas de estilo. Estas son las que hacen que los videos funcionen; síguelas:

  • Sugiere, no ilustres palabra por palabra. Sin palabras en pantalla ni onomatopeyas que repitan la letra: sin carteles, etiquetas, destinos, globos de diálogo, "GUAU", "shhh", "∞". Cuéntalo con acción, objetos, luz, clima, color y motivos recurrentes. Si una línea nombra algo (un tren, un perro, una llamada telefónica), pregunta qué significa en la historia y muéstralo en su lugar, o muestra la cosa sin nombrarla.
  • Una historia, un elenco. Mantén los mismos personajes y algunos escenarios y objetos recurrentes, para que el video se lea como una historia y no como una presentación.
  • Acierta en las palabras clave. Temporiza los golpes, impactos y cambios al inicio de la palabra importante (pop(t, word.start), sacudida(t, word.start)).
  • Siempre en movimiento. Ningún cuadro debe estar quieto más de aproximadamente un segundo.
  • Respeta el diseño. Dibuja la escena entre y≈300 y y≈1100 en el lienzo de 1080x1920. El encabezado está arriba, la letra comienza en y≈1150.
  • Las escenas cambian aproximadamente 0.3–0.5 s antes de la línea que ilustran; el esqueleto hace un fundido cruzado de 0.12 s.
  • La primera escena es una portada (artista y título, antes de las voces). El encabezado aparece cuando comienza la segunda escena.

4. Codifica las escenas

Edita src/songs/<id>/scenes.tsx. Una escena es un componente que recibe t, el tiempo de la canción en segundos, y dibuja dentro de <Lienzo>:

const Meeting: Escena = ({t}) => {
  const k = u(t, 31.2, 33.0);            // 0→1 entre dos segundos de canción
  return (
    <Lienzo>
      <FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
      <Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
      <Corazon x={540} y={420} s={pop(t, 33.0)} />
    </Lienzo>
  );
};

export const SCENES = [
  {at: CONFIG.start, C: Cover},
  {at: 30.9, C: Meeting},
];

Referencia del kit (los nombres están en español; README.md tiene un glosario). Navega por cada pieza en la composición kit-gallery.

  • Ayudantes de tiempo (kit.tsx): u(t, a, b) progreso 0→1; lerp, lerp2; easing eo (out), ei (in), eio (in-out), back (sobrepaso); pop(t, at) aparición elástica; sacudida(t, at) sacudida amortiguada; rnd(i) aleatorio determinista. Nunca uses Math.random().
  • Personajes: <Persona tipo="el" | "ella" x y s mira pose enMano>. x, y son los pies. mira 1 mira a la derecha, -1 a la izquierda. pose: bd/bt brazo trasero/delantero [hombro°, codo°] (0 abajo, 90 adelante, 180 arriba), paso + zancada (caminar), inclina (inclinarse), cabeza (inclinación de cabeza), ojo: 'cerrado', beso, sonrojo (rubor). ikBrazo(...) apunta una mano a un punto; puntoMano, puntoCabeza devuelven puntos del lienzo. <Pareja k>: 0 separados, 1 besándose. <Perro>.
  • Escenarios: FondoPuerto (puerto, paletas PAL.noche | ocaso | alba), FondoHuerto (huerto), FondoTejados (tejados), FachadaFondo + FachadaFrente (balcón; dibuja personajes entre ellos), FondoBar, FondoInfierno, FondoTapia (pared encalada), FondoEstacion (estación, pasa un tren), FondoDescampado (descampado de noche). El suelo es y=985 en la mayoría (MUELLE_Y, ANDEN_Y); suelo del balcón BALCON_Y, calle CALLE_Y.
  • Objetos: Barco, Tren + Humo, Coche (ventanillas empañadas, corazón dibujado en el vaho), Casa, Arbol, Banco, Maleta, Polaroid, Corazon, Labios, Flor, Manzana, Anillo, NeonCopa, Gaviota, Destello, Estallido (explosión de corazones y labios), Flotantes (corazones flotantes), Recuerdo (tinte de memoria), Luna, Estrellas, Mar, Cielo.

Reglas prácticas: cada id de gradiente/clip debe ser único en todo el video (prefija con el nombre de la escena); calcula todo a partir de t (sin estado); dibuja de atrás hacia adelante.

Las piezas nuevas van en src/kit/, con el mismo estilo: colores planos, sin contornos, dibujadas alrededor de su propio origen, con una propiedad de escala s. Agrégalas a Gallery.tsx.

5. Revisar cuadros

npm run typecheck
npm run stills -- <id> <segundo> <segundo> …

Pide cuadros al inicio y mitad de cada escena y en cada palabra clave. Escribe out/stills/<id>/sheet.jpg; revísalo y corrige antes de renderizar: legibilidad, nada que cubra rostros, nada en el área de encabezado o letra, mismos personajes en todo, sin etiquetas literales, la letra mostrada coincide con el momento del audio.

6. Renderizar e informar

npm run render -- <id>

Salida: out/<id>.mp4, 1080x1920, 30 fps, H.264 + AAC. Revisa su duración con ffprobe e informa al usuario: ruta del archivo, duración, el extracto usado, la historia en dos o tres oraciones, y cada tiempo que estimaste o duda de letra que encontraste. Di que revisaste cuadros fijos, no el video en reproducción.

Skills relacionados