Communitygithub.com

vídeo-de-letra

Convierte una canción, una imagen de portada y (opcionalmente) la letra en texto plano en un video de letras terminado, sin necesidad de SRT: los tiempos se generan automáticamente mediante reconocimiento de voz offline y alineamiento difuso que tolera errores tipográficos en la letra. Dos estilos: 'Now Playing' de Spotify y motivacional cinematográfico (fuente Kalam Hindi, resaltado de palabras). Úsalo cuando el usuario solicite un video de letra, video karaoke, edición de letras al estilo Spotify o un reel motivacional con letras.

¿Qué es vídeo-de-letra?

Este skill permite crear videos de letras profesionales a partir de un archivo de audio, una imagen de portada y la letra en texto plano, sin necesidad de archivos SRT generados manualmente. El skill utiliza reconocimiento de voz offline con Vosk para transcribir el audio y luego alinea la letra proporcionada por el usuario (incluso con errores tipográficos) mediante un proceso difuso de coincidencia y normalización. Soporta dos estilos visuales principales: el estilo 'Spotify', que muestra la portada desenfocada, una tarjeta de álbum, barra de progreso y letras que se desplazan suavemente; y el estilo 'cinematográfico', con fondo a pantalla completa, formato letterbox 2.35:1, fuente Kalam y resaltado palabra por palabra. El video se genera en fragmentos para mantener el uso de memoria por debajo de 2 GB y se concatena al final. Es especialmente útil para creadores de contenido, músicos o aficionados que desean producir videos de letras para redes sociales, karaoke o clips promocionales, funcionando completamente offline y sin depender de servicios externos de transcripción.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/CyberGaurav404/lyric-video-skill/tree/HEAD

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Skill de Video de Letras (Lyric Video)

Entrada que proporciona el usuario: un archivo de audio, una imagen de portada y la letra como texto plano (opcional). Tú entregas: un archivo .mp4 terminado. El usuario nunca tiene que proporcionar un SRT — auto_srt.py lo construye a partir del audio.

Haz esto

pip install pillow imageio-ffmpeg vosk          # ffmpeg viene incluido con imageio-ffmpeg

python scripts/make_video.py \
    --audio cancion.mp3 --cover portada.png --lyrics letra.txt \
    --title "Nombre de Canción" --artist "Nombre del Artista" \
    --style spotify --out video_letra.mp4

Ese único comando: reconoce el habla → alinea la letra del usuario con ella → escribe el SRT → renderiza el video en fragmentos → concatena → escribe video_letra.mp4.

  • --style spotify (predeterminado) — fondo de portada desenfocado, tarjeta de álbum, barra de progreso, letras que se desplazan suavemente.
  • --style cinematic — fondo a pantalla completa (pasa --bg fondo.png, o se genera uno), letterbox 2.35:1, fuente Kalam, resaltado palabra por palabra.
  • --start 9.6 --duration 20 — clip de avance.
  • ¿Sin portada? Se genera una a partir del título. ¿Sin letra? Se usa el texto del ASR.

Entradas, y qué hacer cuando faltan

EntradaNotasSi falta
Audiomp3 / m4a / wavobligatorio — pídelo
Portadacuadrada ≥1000×1000generada proceduralmente; o crea una en Figma (generate_image, prompt en PROMPTS.md)
Letra en textotexto plano, una línea por línea de letrase usa el texto del ASR, los tiempos siguen siendo automáticos
Título / artistatextose infiere de la portada o se deja genérico
Idioma--lang hi (predeterminado) o enelige según el guion de la letra

Los errores tipográficos son esperados y se manejan: ambos lados se normalizan (puntuación, nukta, mayúsculas) y las palabras se emparejan con una relación difusa, por lo que "कोलम्बस" vs "कोलंबस" o "आईंस्टीन" vs "आइंस्टाइन" aún coinciden. Las palabras que no se pueden emparejar se interpolan entre sus vecinas.

Pipeline (lo que hacen los scripts)

  1. auto_srt.py — decodifica el audio a PCM de 16 kHz, ejecuta Vosk (offline, descarga un modelo de ~40–80 MB una sola vez), opcionalmente restringe la decodificación con las líneas de letra del usuario como gramática, las alinea con difflib + coincidencia difusa, y escribe una pista SRT por línea de letra.
  2. spotify_lyrics.py / motivational_render.py — renderizan fotogramas con Pillow, envían fotogramas sin procesar a ffmpeg.
  3. make_video.py — divide el renderizado en fragmentos (45 s por fragmento por defecto, mantiene la memoria < 2 GB), concatena con ffmpeg -f concat -c copy.

Nivel de calidad

  • Movimiento continuo, nunca escalonado: interpola la cámara/desplazamiento por fotograma.
  • Línea activa más grande y brillante; las vecinas se reducen y oscurecen en niveles.
  • Acortamiento automático de líneas largas a un ancho seguro; nunca recortar texto en el borde del fotograma.
  • Fuente correcta por escritura: las líneas en devanagari necesitan una fuente devanagari (incluida en assets/fonts/), las líneas en latín necesitan una fuente latina. Nunca mezclarlas en una misma cadena.
  • Una idea por fotograma: o el fondo se mueve o el texto se mueve, no ambos a la vez.

Verifica antes de entregar

ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg   # 2–3 puntos

Verifica: sin líneas recortadas, una línea activa, sin tofu/recuadros (problema de fuente), tiempo de progreso correcto, audio sincronizado, barras/gradación consistentes.

Problemas comunes

SíntomaCausaSolución
Recuadros en lugar de textofuente incorrecta para la escriturausa font_for(texto, …); las fuentes devanagari están en assets/fonts/
mkl_malloc: failed to allocate memory2 GB RAM + modelo/audio grandeVosk (usado aquí) evita esto; si usas whisper, divide en fragmentos de 8–10 s
ffmpeg Cannot allocate memorydemasiados fotogramas en vuelo--chunk 40, -threads 2, rc-lookahead=4
La letra se desvía con el tiempofalló la alineación en un intervalo instrumental largopasa --lyrics; mantén una línea de letra por línea de texto
El fondo saltafotogramas clave prerrenderizados intercambiados, no combinadoslos renderizadores incluidos combinan/interpolan

Skills relacionados