Skill de Video de Letras (Lyric Video)
Entrada que proporciona el usuario: un archivo de audio, una imagen de portada y la letra como texto plano
(opcional). Tú entregas: un archivo .mp4 terminado. El usuario nunca tiene que proporcionar un SRT —
auto_srt.py lo construye a partir del audio.
Haz esto
pip install pillow imageio-ffmpeg vosk # ffmpeg viene incluido con imageio-ffmpeg
python scripts/make_video.py \
--audio cancion.mp3 --cover portada.png --lyrics letra.txt \
--title "Nombre de Canción" --artist "Nombre del Artista" \
--style spotify --out video_letra.mp4
Ese único comando: reconoce el habla → alinea la letra del usuario con ella → escribe el SRT →
renderiza el video en fragmentos → concatena → escribe video_letra.mp4.
--style spotify(predeterminado) — fondo de portada desenfocado, tarjeta de álbum, barra de progreso, letras que se desplazan suavemente.--style cinematic— fondo a pantalla completa (pasa--bg fondo.png, o se genera uno), letterbox 2.35:1, fuente Kalam, resaltado palabra por palabra.--start 9.6 --duration 20— clip de avance.- ¿Sin portada? Se genera una a partir del título. ¿Sin letra? Se usa el texto del ASR.
Entradas, y qué hacer cuando faltan
| Entrada | Notas | Si falta |
|---|---|---|
| Audio | mp3 / m4a / wav | obligatorio — pídelo |
| Portada | cuadrada ≥1000×1000 | generada proceduralmente; o crea una en Figma (generate_image, prompt en PROMPTS.md) |
| Letra en texto | texto plano, una línea por línea de letra | se usa el texto del ASR, los tiempos siguen siendo automáticos |
| Título / artista | texto | se infiere de la portada o se deja genérico |
| Idioma | --lang hi (predeterminado) o en | elige según el guion de la letra |
Los errores tipográficos son esperados y se manejan: ambos lados se normalizan (puntuación, nukta, mayúsculas) y las palabras se emparejan con una relación difusa, por lo que "कोलम्बस" vs "कोलंबस" o "आईंस्टीन" vs "आइंस्टाइन" aún coinciden. Las palabras que no se pueden emparejar se interpolan entre sus vecinas.
Pipeline (lo que hacen los scripts)
auto_srt.py— decodifica el audio a PCM de 16 kHz, ejecuta Vosk (offline, descarga un modelo de ~40–80 MB una sola vez), opcionalmente restringe la decodificación con las líneas de letra del usuario como gramática, las alinea condifflib+ coincidencia difusa, y escribe una pista SRT por línea de letra.spotify_lyrics.py/motivational_render.py— renderizan fotogramas con Pillow, envían fotogramas sin procesar a ffmpeg.make_video.py— divide el renderizado en fragmentos (45 s por fragmento por defecto, mantiene la memoria < 2 GB), concatena conffmpeg -f concat -c copy.
Nivel de calidad
- Movimiento continuo, nunca escalonado: interpola la cámara/desplazamiento por fotograma.
- Línea activa más grande y brillante; las vecinas se reducen y oscurecen en niveles.
- Acortamiento automático de líneas largas a un ancho seguro; nunca recortar texto en el borde del fotograma.
- Fuente correcta por escritura: las líneas en devanagari necesitan una fuente devanagari (incluida en
assets/fonts/), las líneas en latín necesitan una fuente latina. Nunca mezclarlas en una misma cadena. - Una idea por fotograma: o el fondo se mueve o el texto se mueve, no ambos a la vez.
Verifica antes de entregar
ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg # 2–3 puntos
Verifica: sin líneas recortadas, una línea activa, sin tofu/recuadros (problema de fuente), tiempo de progreso correcto, audio sincronizado, barras/gradación consistentes.
Problemas comunes
| Síntoma | Causa | Solución |
|---|---|---|
| Recuadros en lugar de texto | fuente incorrecta para la escritura | usa font_for(texto, …); las fuentes devanagari están en assets/fonts/ |
mkl_malloc: failed to allocate memory | 2 GB RAM + modelo/audio grande | Vosk (usado aquí) evita esto; si usas whisper, divide en fragmentos de 8–10 s |
ffmpeg Cannot allocate memory | demasiados fotogramas en vuelo | --chunk 40, -threads 2, rc-lookahead=4 |
| La letra se desvía con el tiempo | falló la alineación en un intervalo instrumental largo | pasa --lyrics; mantén una línea de letra por línea de texto |
| El fondo salta | fotogramas clave prerrenderizados intercambiados, no combinados | los renderizadores incluidos combinan/interpolan |