Communitygithub.com

lyric-video

Transforme uma música, uma imagem de capa e (opcionalmente) a letra em texto simples em um vídeo com letra finalizado — sem necessidade de SRT, os tempos são gerados automaticamente com reconhecimento de fala offline e alinhamento difuso que tolera erros de digitação na letra. Dois estilos: Spotify "tocando agora" e motivacional cinematográfico (fonte Kalam Hindi, destaque de palavras). Use quando o usuário pedir um vídeo com letra, vídeo de karaokê, edição de letra estilo Spotify ou um reel motivacional com letra.

O que é lyric-video?

A skill Lyric Video automatiza a criação de vídeos com letra de músicas a partir de um arquivo de áudio, uma imagem de capa e, opcionalmente, a letra em texto simples. Ela elimina a necessidade do usuário fornecer um arquivo SRT, pois gera os timings automaticamente usando reconhecimento de fala offline (Vosk) e um algoritmo de alinhamento difuso que corrige erros de digitação e variações ortográficas na letra fornecida. A skill suporta dois estilos visuais: o estilo "spotify" (padrão), que simula a reprodução do Spotify com fundo desfocado e letra rolante, e o estilo "cinematic", que aplica letterbox 2.35:1, fundo em tela cheia e destaque palavra por palavra com a fonte Kalam. O processo é executado em um único comando que reconhece a fala, alinha a letra, gera o SRT e renderiza o vídeo final em MP4, com chunks para gerenciar a memória. A skill é projetada para ser usada em plataformas que suportam Python e ferramentas como Pillow, imageio-ffmpeg e Vosk, sendo ideal para criadores de conteúdo, editores de vídeo ou qualquer usuário que queira produzir vídeos com letra de forma rápida e sem configurações complexas.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/CyberGaurav404/lyric-video-skill/tree/HEAD

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Habilidade Lyric Video

Entrada fornecida pelo usuário: um arquivo de áudio, uma imagem de capa e a letra em texto simples (opcional). Você entrega: um .mp4 finalizado. O usuário nunca precisa fornecer um SRT — auto_srt.py constrói o SRT a partir do áudio.

Faça isso

pip install pillow imageio-ffmpeg vosk          # ffmpeg já vem com imageio-ffmpeg

python scripts/make_video.py \
    --audio musica.mp3 --cover capa.png --lyrics letra.txt \
    --title "Nome da Música" --artist "Nome do Artista" \
    --style spotify --out lyric_video.mp4

Este único comando: reconhece a fala → alinha a letra do usuário a ela → escreve o SRT → renderiza o vídeo em chunks → concatena → escreve lyric_video.mp4.

  • --style spotify (padrão) — fundo de capa desfocado, cartão do álbum, barra de progresso, letra rolando suavemente.
  • --style cinematic — fundo em tela cheia (passe --bg prato.png, ou um é gerado), letterbox 2.35:1, fonte Kalam, destaque palavra por palavra.
  • --start 9.6 --duration 20 — clipe de amostra.
  • Sem capa? Uma é gerada a partir do título. Sem letra? O texto do ASR é usado.

Entradas e o que fazer quando estiverem faltando

EntradaObservaçõesSe faltar
Áudiomp3 / m4a / wavobrigatório — peça para o usuário
Capaquadrada ≥1000×1000gerada proceduralmente; ou crie uma no Figma (generate_image, prompt em PROMPTS.md)
Letra em textotexto simples, uma linha por linha de letrao texto do ASR é usado, os tempos ainda são automáticos
Título / artistatextoinferido da capa ou deixado genérico
Idioma--lang hi (padrão) ou enescolha a partir do script da letra

Erros de digitação são esperados e tratados: ambos os lados são normalizados (pontuação, nukta, maiúsculas/minúsculas) e as palavras são correspondidas com uma taxa difusa, então "कोलम्बस" vs "कोलंबस" ou "आईंस्टीन" vs "आइंस्टाइन" ainda se alinham. Palavras que não podem ser correspondidas são interpoladas entre seus vizinhos.

Pipeline (o que os scripts fazem)

  1. auto_srt.py — decodifica o áudio para PCM 16 kHz, executa o Vosk (offline, baixa um modelo de ~40–80 MB uma vez), opcionalmente restringe a decodificação com as linhas da letra do usuário como gramática, alinha-as com difflib + correspondência difusa e escreve uma sugestão de SRT por linha de letra.
  2. spotify_lyrics.py / motivational_render.py — renderiza quadros com Pillow, canaliza quadros brutos para o ffmpeg.
  3. make_video.py — divide a renderização em chunks (45 s por chunk por padrão, mantém a memória < 2 GB), concatena com ffmpeg -f concat -c copy.

Padrão de qualidade

  • Movimento contínuo, nunca em etapas: interpole a câmera/rolagem por quadro.
  • Linha ativa maior e mais brilhante; as vizinhas encolhem e escurecem em camadas.
  • Redimensionamento automático de linhas longas para uma largura segura; nunca cortar texto na borda do quadro.
  • Fonte correta para o script: linhas em Devanagari precisam de uma fonte Devanagari (incluída em assets/fonts/), linhas em latim precisam de uma fonte latina. Nunca misturá-las em uma única string.
  • Uma ideia por quadro: ou o fundo se move ou o texto se move, não ambos ao mesmo tempo.

Verifique antes de entregar

ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg   # 2–3 pontos

Verifique: sem linhas cortadas, uma linha ativa, sem tofu/quadrados (problema de fonte), tempo de progresso correto, áudio sincronizado, barras/grade consistentes.

Problemas comuns

SintomaCausaCorreção
Quadrados no lugar do textofonte errada para o scriptuse font_for(texto, …); as fontes Devanagari estão em assets/fonts/
mkl_malloc: failed to allocate memory2 GB de RAM + modelo/áudio grandeso Vosk (usado aqui) evita isso; se usar whisper, divida em chunks de 8–10 s
ffmpeg Cannot allocate memorymuitos quadros em trânsito--chunk 40, -threads 2, rc-lookahead=4
Letra desalinha com o tempofalha de alinhamento em uma longa pausa instrumentalpasse --lyrics; mantenha uma linha de letra por linha de texto
Fundo pulaquadros-chave pré-renderizados foram trocados, não mescladosos renderizadores incluídos mesclam/interpolam

Habilidades Relacionadas