Habilidade Lyric Video
Entrada fornecida pelo usuário: um arquivo de áudio, uma imagem de capa e a letra em texto simples
(opcional). Você entrega: um .mp4 finalizado. O usuário nunca precisa fornecer um SRT —
auto_srt.py constrói o SRT a partir do áudio.
Faça isso
pip install pillow imageio-ffmpeg vosk # ffmpeg já vem com imageio-ffmpeg
python scripts/make_video.py \
--audio musica.mp3 --cover capa.png --lyrics letra.txt \
--title "Nome da Música" --artist "Nome do Artista" \
--style spotify --out lyric_video.mp4
Este único comando: reconhece a fala → alinha a letra do usuário a ela → escreve o SRT →
renderiza o vídeo em chunks → concatena → escreve lyric_video.mp4.
--style spotify(padrão) — fundo de capa desfocado, cartão do álbum, barra de progresso, letra rolando suavemente.--style cinematic— fundo em tela cheia (passe--bg prato.png, ou um é gerado), letterbox 2.35:1, fonte Kalam, destaque palavra por palavra.--start 9.6 --duration 20— clipe de amostra.- Sem capa? Uma é gerada a partir do título. Sem letra? O texto do ASR é usado.
Entradas e o que fazer quando estiverem faltando
| Entrada | Observações | Se faltar |
|---|---|---|
| Áudio | mp3 / m4a / wav | obrigatório — peça para o usuário |
| Capa | quadrada ≥1000×1000 | gerada proceduralmente; ou crie uma no Figma (generate_image, prompt em PROMPTS.md) |
| Letra em texto | texto simples, uma linha por linha de letra | o texto do ASR é usado, os tempos ainda são automáticos |
| Título / artista | texto | inferido da capa ou deixado genérico |
| Idioma | --lang hi (padrão) ou en | escolha a partir do script da letra |
Erros de digitação são esperados e tratados: ambos os lados são normalizados (pontuação, nukta, maiúsculas/minúsculas) e as palavras são correspondidas com uma taxa difusa, então "कोलम्बस" vs "कोलंबस" ou "आईंस्टीन" vs "आइंस्टाइन" ainda se alinham. Palavras que não podem ser correspondidas são interpoladas entre seus vizinhos.
Pipeline (o que os scripts fazem)
auto_srt.py— decodifica o áudio para PCM 16 kHz, executa o Vosk (offline, baixa um modelo de ~40–80 MB uma vez), opcionalmente restringe a decodificação com as linhas da letra do usuário como gramática, alinha-as comdifflib+ correspondência difusa e escreve uma sugestão de SRT por linha de letra.spotify_lyrics.py/motivational_render.py— renderiza quadros com Pillow, canaliza quadros brutos para o ffmpeg.make_video.py— divide a renderização em chunks (45 s por chunk por padrão, mantém a memória < 2 GB), concatena comffmpeg -f concat -c copy.
Padrão de qualidade
- Movimento contínuo, nunca em etapas: interpole a câmera/rolagem por quadro.
- Linha ativa maior e mais brilhante; as vizinhas encolhem e escurecem em camadas.
- Redimensionamento automático de linhas longas para uma largura segura; nunca cortar texto na borda do quadro.
- Fonte correta para o script: linhas em Devanagari precisam de uma fonte Devanagari (incluída em
assets/fonts/), linhas em latim precisam de uma fonte latina. Nunca misturá-las em uma única string. - Uma ideia por quadro: ou o fundo se move ou o texto se move, não ambos ao mesmo tempo.
Verifique antes de entregar
ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg # 2–3 pontos
Verifique: sem linhas cortadas, uma linha ativa, sem tofu/quadrados (problema de fonte), tempo de progresso correto, áudio sincronizado, barras/grade consistentes.
Problemas comuns
| Sintoma | Causa | Correção |
|---|---|---|
| Quadrados no lugar do texto | fonte errada para o script | use font_for(texto, …); as fontes Devanagari estão em assets/fonts/ |
mkl_malloc: failed to allocate memory | 2 GB de RAM + modelo/áudio grandes | o Vosk (usado aqui) evita isso; se usar whisper, divida em chunks de 8–10 s |
ffmpeg Cannot allocate memory | muitos quadros em trânsito | --chunk 40, -threads 2, rc-lookahead=4 |
| Letra desalinha com o tempo | falha de alinhamento em uma longa pausa instrumental | passe --lyrics; mantenha uma linha de letra por linha de texto |
| Fundo pula | quadros-chave pré-renderizados foram trocados, não mesclados | os renderizadores incluídos mesclam/interpolam |