Communitygithub.com

Tradução de áudio do YouTube — dublagem nos segundos originais

Duble a fala de um vídeo em outro idioma mantendo a música original: cada frase cai no mesmo segundo do original e a faixa é cortada na duração exata do vídeo para o áudio multilíngue do YouTube.

O que é Tradução de áudio do YouTube — dublagem nos segundos originais?

Passo 3 da receita Video Localization (dublar e entregar), de oknehcvark/youtube-audio-translation (publicado em 2026-10-06). Grátis e local, exceto as vozes do edge-tts. O scripts/dub.py separa a voz da música, transcreve frases com tempo usando faster-whisper, mostra um orçamento de caracteres por frase e faz o agente traduzir cada linha para caber nos seus segundos. O build fala cada frase e a coloca no início original, o mix junta com a música na duração exata do arquivo de vídeo (o YouTube recusa faixas de tamanho diferente) e o check retranscreve a dublagem para informar a taxa de erro. Também entrega o SRT com o mesmo tempo, relata quais frases foram aceleradas e diz com franqueza que ninguém ouviu ainda.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/oknehcvark/youtube-audio-translation/tree/HEAD/skills/youtube-audio-translation

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Tradução de áudio do YouTube

Transforma um vídeo em faixas de áudio adicionais em outros idiomas. Tudo é gratuito e local, exceto as vozes (edge-tts usa as vozes online da Microsoft). O motor é scripts/dub.py na pasta desta skill.

O pipeline: separar voz e música -> transcrever a voz em frases com tempo -> você traduz cada frase para caber no seu tempo -> construir (falar cada frase e colocá-la no segundo original) -> mixar com a música na duração exata do vídeo -> verificar.

Regras (cada uma custa uma tentativa falha)

  1. A duração do resultado deve ser igual à duração do arquivo VÍDEO (--ref video.mp4). Nunca a tire de um .aac bruto: ffprobe apenas estima sua duração a partir da taxa de bits e pode errar em 15 s. O YouTube rejeita uma faixa que não corresponda ao vídeo ("a faixa de áudio e o vídeo devem ter o mesmo comprimento").
  2. Você traduz; não use um tradutor automático. Um tradutor ignora quantos segundos uma frase tem. Execute budget primeiro e escreva cada linha dentro de seu orçamento de caracteres. Acima do orçamento, a voz é acelerada e soa apressada; abaixo de 80% do espaço, a ferramenta desacelera um pouco a voz.
  3. Corrija erros de reconhecimento antes de traduzir. Nomes e termos são mal interpretados (um serviço chamado "Klap" foi ouvido como "Clip" e "Клэп"; "экспорт" como "эксперт"). Leia todo o source.srt, corrija-o e informe ao usuário quais suposições você fez.
  4. As frases são colocadas em seu segundo inicial original, nunca coladas uma após a outra. A ferramenta já faz isso; não pós-processe o áudio de forma que desloque as frases.
  5. Você não pode ouvir o áudio. Verifique com check e os números, e diga claramente que ninguém ouviu. Peça ao usuário (idealmente um falante nativo) para ouvir. Nunca escreva que "soa natural".
  6. Pergunte antes de instalar qualquer coisa. Nunca sobrescreva ou exclua os arquivos do usuário; trabalhe em uma pasta separada (por exemplo, work/ ao lado do vídeo).

1. Verifique a configuração (uma vez)

python3 --version                       # 3.10 ou mais recente
ffmpeg -version | head -1               # 4.4 ou mais recente
python3 -c "import numpy, soundfile, edge_tts, faster_whisper, pyrubberband; print('ok')"
audio-separator --version               # apenas para a etapa de separação
rubberband --version                    # opcional: acelerações melhores (caso contrário, ffmpeg atempo é usado)

Peças faltando:

  • Pacotes Python: pip3 install -r requirements.txt
  • ffmpeg: brew install ffmpeg (macOS) / winget install ffmpeg (Windows) / apt install ffmpeg (Linux)
  • rubberband (opcional): brew install rubberband / apt install rubberband-cli
  • O separador (grande, instale por conta própria): pip3 install "audio-separator[cpu]". Se import scipy falhar no macOS (um erro dlopen), pip3 install scipy==1.14.1 corrige.

A primeira transcribe baixa um modelo de fala de ~1,5 GB; a primeira separate baixa um modelo de ~70 MB. Informe o usuário e certifique-se de que haja vários GB de espaço livre em disco.

2. Separe a voz da música

python3 scripts/dub.py separate "/caminho/video.mp4" -o work

Gera work/vocals.wav e work/music.wav. Se o vídeo não tiver música, pule esta etapa e misture com silêncio (use --music com qualquer arquivo silencioso) - ou simplesmente construa e entregue dub_only.wav.

3. Transcreva

python3 scripts/dub.py transcribe work/vocals.wav --lang ru -o work/source.srt

--lang é o idioma da fala ORIGINAL. Leia work/source.srt completamente e corrija os erros no local (mantenha os tempos). As frases saem com cerca de 2 a 7 segundos de duração.

4. Traduza

python3 scripts/dub.py budget work/source.srt --lang fr

Isso imprime, para cada frase, os segundos que ela tem e o número máximo de caracteres (cerca de 15 caracteres/s para francês e inglês, 14 espanhol, 13 hindi e alemão, 5 caracteres/s para chinês). Escreva a tradução você mesmo como uma lista JSON de strings na mesma ordem, uma por frase, por exemplo, work/lines.fr.json:

["Primeira frase traduzida.", "Segunda frase traduzida.", "..."]

Traduza o significado, não palavra por palavra; encurte livremente (descarte preenchimentos, palavras repetidas); mantenha os nomes de marcas como estão escritos. Para hindi, escreva nomes de marcas estrangeiros em Devanagari para que a voz os pronuncie. Dígitos permanecem dígitos. Mantenha uma forma consistente de tratamento ("vous", "ustedes", ...). As frases podem ser redivididas entre linhas vizinhas quando uma frase cruzar um limite.

python3 scripts/dub.py srt work/source.srt work/lines.fr.json -o work/fr.srt

fr.srt é também o arquivo de legenda para o mesmo idioma (tempos originais) - entregue ao usuário.

5. Construa, misture, verifique

Escolha uma voz: edge-tts --list-voices | grep fr- (exemplos: fr-FR-HenriNeural, es-MX-JorgeNeural, hi-IN-MadhurNeural, zh-CN-YunxiNeural, en-US-GuyNeural, de-DE-ConradNeural).

python3 scripts/dub.py build work/fr.srt --ref "/caminho/video.mp4" --voice fr-FR-HenriNeural -o work/fr --loudness-ref work/vocals.wav

Leia o resumo. Se listar frases que precisam de mais de 1,25x ou que transbordam para a próxima, encurte essas linhas em lines.fr.json, reconstrua fr.srt e execute build novamente: apenas as frases alteradas são faladas novamente.

python3 scripts/dub.py mix work/fr/dub_only.wav --music work/music.wav --ref "/caminho/video.mp4" -o work/fr/final
python3 scripts/dub.py check work/fr/dub_only.wav work/fr.srt --lang fr --ref "/caminho/video.mp4"

mix escreve final.wav e final.m4a e imprime sua duração ao lado da do vídeo; elas devem concordar em alguns centésimos de segundo. check relê a dublagem com um reconhecedor de fala (taxa de erro: alguns % a ~15% é normal; dígitos, nomes de marcas e variantes de grafia contam como erros; chinês é pontuado por caractere).

Repita as etapas 4-5 para cada idioma; as etapas 2-3 são feitas uma vez.

6. Relate ao usuário

Informe ao usuário, por idioma: os arquivos (final.m4a, <idioma>.srt), a voz usada, a duração em relação ao vídeo, a taxa de erro, quantas frases foram aceleradas e em quanto no máximo. Diga o que você não pôde verificar: o som em si e a tradução se você não puder julgar bem o idioma. Liste as suposições que você fez ao corrigir erros de reconhecimento.

O upload para o YouTube é por conta do usuário: YouTube Studio -> Legendas -> adicionar o idioma -> adicionar a faixa de áudio (e o .srt como legendas desse idioma). Não faça upload de nada em nome do usuário.

Se algo der errado

  • TTS falhou para a frase N / repetir: a rede caiu; execute build novamente, as frases concluídas são mantidas.
  • Uma frase está silenciosa: seu texto estava vazio; verifique a linha no JSON.
  • A voz parece apressada: a linha está acima do orçamento; encurte-a.
  • O YouTube diz que as durações diferem: execute ffprobe no vídeo e no final.m4a e compare; reconstrua com o VÍDEO como --ref. A duração do .m4a é arredondada para o quadro AAC (cerca de 0,02 s).
  • Windows/Linux: não testado pelo autor; o código é multiplataforma, mas relate os problemas honestamente.

Habilidades Relacionadas