alinhar-legendas
Alinhe o texto do roteiro existente ao áudio para legendas no estilo karaokê. Usa Qwen3-ForcedAligner-0.6B (precisão de ~30ms) e jieba para segmentação de palavras em chinês (agrupa caracteres em palavras naturais).
Pipeline
Roteiro + Áudio
↓
Qwen3-ForcedAligner (timestamps no nível de caractere)
↓
Segmentação de palavras com jieba (caracteres → palavras chinesas)
↓
Correspondência de frases baseada em posição (palavras → frases)
↓
Saída: frases com timestamps de palavras embutidos
Uso
# Alinhar roteiro ao áudio (saída em nível de frase com timestamps de palavras)
python skills/align-captions/align.py voiceover.wav --script "当全世界都在追AI的时候..."
# Salvar em arquivo
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json
# Apenas nível de palavra (sem agrupamento de frases)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level
Formato de Saída
Projetado para renderização de karaokê no Remotion:
{
"segments": [
{
"text": "当全世界...",
"startMs": 240, "endMs": 2080,
"words": [
{"text": "当", "startMs": 240, "endMs": 400},
{"text": "全世界", "startMs": 400, "endMs": 880}
]
}
],
"word_segments": [...],
"language": "Chinese",
"model": "Qwen3-ForcedAligner-0.6B"
}
Uso Programático
from align import align_captions
# Obter frases com timestamps de palavras embutidos
resultado = align_captions(
"voiceover.wav",
script="当全世界都在追AI的时候...",
language="Chinese"
)
# Cada frase tem um array 'words' para destaque de karaokê
for frase in resultado["segments"]:
print(f"{frase['text']}: {len(frase['words'])} palavras")
Integração com make-video
O script make_video.py usa automaticamente o alinhamento de legendas quando:
- Um arquivo de narração existe
- Um roteiro é fornecido em project.json
caption_modeestá definido como "auto" ou "asr"
A saída é passada para o componente RollingCaption do Remotion para renderização de karaokê.
Recuperação de Erros
- Arquivo de áudio não encontrado: Verifique se o caminho existe antes de chamar. O script lançará
FileNotFoundError— verifique o caminho correto da narração emproject.json. - Falha no download do modelo: O Qwen3-ForcedAligner (~1GB) é baixado na primeira execução. Se falhar (rede/disco), tente novamente ou baixe manualmente para o cache do HuggingFace (
~/.cache/huggingface/). - jieba não instalado: Execute
pip install jieba. Sem ele, o texto em chinês volta para timestamps no nível de caractere (sem agrupamento de palavras).
Notas
- Suporta 11 idiomas: Chinês, Inglês, Cantonês, Francês, Alemão, Italiano, Japonês, Coreano, Português, Russo, Espanhol