Tradução de áudio do YouTube
Transforma um vídeo em faixas de áudio adicionais em outros idiomas. Tudo é gratuito e local, exceto as vozes (edge-tts usa as vozes online da Microsoft). O motor é scripts/dub.py na pasta desta skill.
O pipeline: separar voz e música -> transcrever a voz em frases com tempo -> você traduz cada frase para caber no seu tempo -> construir (falar cada frase e colocá-la no segundo original) -> mixar com a música na duração exata do vídeo -> verificar.
Regras (cada uma custa uma tentativa falha)
- A duração do resultado deve ser igual à duração do arquivo VÍDEO (
--ref video.mp4). Nunca a tire de um.aacbruto:ffprobeapenas estima sua duração a partir da taxa de bits e pode errar em 15 s. O YouTube rejeita uma faixa que não corresponda ao vídeo ("a faixa de áudio e o vídeo devem ter o mesmo comprimento"). - Você traduz; não use um tradutor automático. Um tradutor ignora quantos segundos uma frase tem. Execute
budgetprimeiro e escreva cada linha dentro de seu orçamento de caracteres. Acima do orçamento, a voz é acelerada e soa apressada; abaixo de 80% do espaço, a ferramenta desacelera um pouco a voz. - Corrija erros de reconhecimento antes de traduzir. Nomes e termos são mal interpretados (um serviço chamado "Klap" foi ouvido como "Clip" e "Клэп"; "экспорт" como "эксперт"). Leia todo o
source.srt, corrija-o e informe ao usuário quais suposições você fez. - As frases são colocadas em seu segundo inicial original, nunca coladas uma após a outra. A ferramenta já faz isso; não pós-processe o áudio de forma que desloque as frases.
- Você não pode ouvir o áudio. Verifique com
checke os números, e diga claramente que ninguém ouviu. Peça ao usuário (idealmente um falante nativo) para ouvir. Nunca escreva que "soa natural". - Pergunte antes de instalar qualquer coisa. Nunca sobrescreva ou exclua os arquivos do usuário; trabalhe em uma pasta separada (por exemplo,
work/ao lado do vídeo).
1. Verifique a configuração (uma vez)
python3 --version # 3.10 ou mais recente
ffmpeg -version | head -1 # 4.4 ou mais recente
python3 -c "import numpy, soundfile, edge_tts, faster_whisper, pyrubberband; print('ok')"
audio-separator --version # apenas para a etapa de separação
rubberband --version # opcional: acelerações melhores (caso contrário, ffmpeg atempo é usado)
Peças faltando:
- Pacotes Python:
pip3 install -r requirements.txt ffmpeg:brew install ffmpeg(macOS) /winget install ffmpeg(Windows) /apt install ffmpeg(Linux)rubberband(opcional):brew install rubberband/apt install rubberband-cli- O separador (grande, instale por conta própria):
pip3 install "audio-separator[cpu]". Seimport scipyfalhar no macOS (um errodlopen),pip3 install scipy==1.14.1corrige.
A primeira transcribe baixa um modelo de fala de ~1,5 GB; a primeira separate baixa um modelo de ~70 MB. Informe o usuário e certifique-se de que haja vários GB de espaço livre em disco.
2. Separe a voz da música
python3 scripts/dub.py separate "/caminho/video.mp4" -o work
Gera work/vocals.wav e work/music.wav. Se o vídeo não tiver música, pule esta etapa e misture com silêncio (use --music com qualquer arquivo silencioso) - ou simplesmente construa e entregue dub_only.wav.
3. Transcreva
python3 scripts/dub.py transcribe work/vocals.wav --lang ru -o work/source.srt
--lang é o idioma da fala ORIGINAL. Leia work/source.srt completamente e corrija os erros no local (mantenha os tempos). As frases saem com cerca de 2 a 7 segundos de duração.
4. Traduza
python3 scripts/dub.py budget work/source.srt --lang fr
Isso imprime, para cada frase, os segundos que ela tem e o número máximo de caracteres (cerca de 15 caracteres/s para francês e inglês, 14 espanhol, 13 hindi e alemão, 5 caracteres/s para chinês). Escreva a tradução você mesmo como uma lista JSON de strings na mesma ordem, uma por frase, por exemplo, work/lines.fr.json:
["Primeira frase traduzida.", "Segunda frase traduzida.", "..."]
Traduza o significado, não palavra por palavra; encurte livremente (descarte preenchimentos, palavras repetidas); mantenha os nomes de marcas como estão escritos. Para hindi, escreva nomes de marcas estrangeiros em Devanagari para que a voz os pronuncie. Dígitos permanecem dígitos. Mantenha uma forma consistente de tratamento ("vous", "ustedes", ...). As frases podem ser redivididas entre linhas vizinhas quando uma frase cruzar um limite.
python3 scripts/dub.py srt work/source.srt work/lines.fr.json -o work/fr.srt
fr.srt é também o arquivo de legenda para o mesmo idioma (tempos originais) - entregue ao usuário.
5. Construa, misture, verifique
Escolha uma voz: edge-tts --list-voices | grep fr- (exemplos: fr-FR-HenriNeural, es-MX-JorgeNeural,
hi-IN-MadhurNeural, zh-CN-YunxiNeural, en-US-GuyNeural, de-DE-ConradNeural).
python3 scripts/dub.py build work/fr.srt --ref "/caminho/video.mp4" --voice fr-FR-HenriNeural -o work/fr --loudness-ref work/vocals.wav
Leia o resumo. Se listar frases que precisam de mais de 1,25x ou que transbordam para a próxima, encurte essas linhas em lines.fr.json, reconstrua fr.srt e execute build novamente: apenas as frases alteradas são faladas novamente.
python3 scripts/dub.py mix work/fr/dub_only.wav --music work/music.wav --ref "/caminho/video.mp4" -o work/fr/final
python3 scripts/dub.py check work/fr/dub_only.wav work/fr.srt --lang fr --ref "/caminho/video.mp4"
mix escreve final.wav e final.m4a e imprime sua duração ao lado da do vídeo; elas devem concordar em alguns centésimos de segundo. check relê a dublagem com um reconhecedor de fala (taxa de erro: alguns % a ~15% é normal; dígitos, nomes de marcas e variantes de grafia contam como erros; chinês é pontuado por caractere).
Repita as etapas 4-5 para cada idioma; as etapas 2-3 são feitas uma vez.
6. Relate ao usuário
Informe ao usuário, por idioma: os arquivos (final.m4a, <idioma>.srt), a voz usada, a duração em relação ao vídeo, a taxa de erro, quantas frases foram aceleradas e em quanto no máximo. Diga o que você não pôde verificar: o som em si e a tradução se você não puder julgar bem o idioma. Liste as suposições que você fez ao corrigir erros de reconhecimento.
O upload para o YouTube é por conta do usuário: YouTube Studio -> Legendas -> adicionar o idioma -> adicionar a faixa de áudio (e o .srt como legendas desse idioma). Não faça upload de nada em nome do usuário.
Se algo der errado
TTS falhou para a frase N/repetir: a rede caiu; executebuildnovamente, as frases concluídas são mantidas.- Uma frase está silenciosa: seu texto estava vazio; verifique a linha no JSON.
- A voz parece apressada: a linha está acima do orçamento; encurte-a.
- O YouTube diz que as durações diferem: execute
ffprobeno vídeo e nofinal.m4ae compare; reconstrua com o VÍDEO como--ref. A duração do.m4aé arredondada para o quadro AAC (cerca de 0,02 s). - Windows/Linux: não testado pelo autor; o código é multiplataforma, mas relate os problemas honestamente.