Tradução de Vídeo

O que Tradução de Vídeo faz?

Traduza a fala de um vídeo para outro idioma, usando TTS para gerar o áudio dublado e substituindo a trilha de áudio original.

Gatilhos

• traduza este vídeo
• duble este vídeo para português
• 把视频从 X 语译成 Y 语
• 视频翻译

Casos de Uso

• O usuário deseja assistir a um vídeo do YouTube em idioma estrangeiro, mas prefere ouvi-lo em seu idioma nativo.
• O usuário fornece um link de vídeo e solicita explicitamente a troca do idioma do áudio.

Fluxo de Trabalho

Quando o usuário solicitar a tradução de um vídeo:

1. Baixar Vídeo e Legendas: Use a skill youtube-downloader para baixar o vídeo e suas legendas no formato SRT. Certifique-se de especificar o idioma de origem para obter a legenda correta.

   python path/to/youtube-downloader/scripts/download_video.py "VIDEO_URL" --subtitles --sub-lang <source_lang_code> -o /tmp/video-translation
   

2. Traduzir Legendas: Leia o arquivo .srt baixado. Traduza seu conteúdo frase por frase para o idioma de destino usando o prompt fixo abaixo. Mantenha exatamente o mesmo índice SRT e formato de timestamp!

   Prompt de Tradução:

   Traduza o seguinte texto de legenda de para . Forneça APENAS o texto traduzido. Não explique, não adicione notas, não adicione números de índice. A tradução deve ser coloquial, com som natural e adequada para dublagem de vídeo.

   Salve o texto traduzido em um novo arquivo translated.srt.

3. Gerar Áudio Dublado: Use a skill tts para renderizar o áudio com precisão de timeline a partir do SRT traduzido. O backend Noiz alinha automaticamente a duração de cada frase aos timestamps das legendas do vídeo original.

   Para garantir que a voz clonada corresponda ao tom e emoção exatos do locutor original para cada frase, passe o arquivo de vídeo original para --ref-audio-track. O mecanismo TTS cortará automaticamente o áudio original no timestamp exato de cada legenda e o usará como referência para aquele segmento específico.

   Crie um voice_map.json básico:

   {
     "default": {
       "target_lang": "<target_lang_code>"
     }
   }
   

   Renderize o áudio com precisão de timeline:

   bash skills/tts/scripts/tts.sh render --srt translated.srt --voice-map voice_map.json --backend noiz --auto-emotion --ref-audio-track original_video.mp4 -o dubbed.wav
   

4. Substituir Áudio no Vídeo: Use o script replace_audio.sh para mesclar o vídeo original com o novo áudio dublado. Para manter o fundo sonoro não-falado do vídeo original fora dos segmentos traduzidos, passe o arquivo --srt.

   bash skills/video-translation/scripts/replace_audio.sh --video original_video.mp4 --audio dubbed.wav --output final_video.mp4 --srt translated.srt
   

5. Apresentar o Resultado: Retorne o caminho do arquivo final_video.mp4 ao usuário.

Entradas

• Entradas obrigatórias:
  • VIDEO_URL: A URL do vídeo a ser traduzido.
  • target_language: O idioma para o qual traduzir o áudio.
• Entradas opcionais:
  • source_language: O idioma do vídeo original (se não for detectado automaticamente ou especificado).
  • reference_audio: Arquivo/URL de áudio específico para usar na clonagem de voz, em vez da trilha dinâmica do vídeo original.

Saídas

• Sucesso: Caminho para o arquivo de vídeo final com áudio substituído.
• Falha: Mensagem de erro clara especificando se o download, TTS ou substituição de áudio falhou.

Requisitos

• Dependências (outras skills)
  • youtube-downloader (crazynomad/skills) — SKILL.md
    Instalação: clone ou copie o diretório skills/youtube-downloader de crazynomad/skills para sua pasta skills/ para que skills/youtube-downloader/scripts/download_video.py esteja disponível.
  • tts (NoizAI/skills) — SKILL.md
    Se ainda não estiver neste repositório: clone ou copie o diretório skills/tts de NoizAI/skills para sua pasta skills/. Certifique-se de que skills/tts/scripts/tts.sh e scripts relacionados estejam presentes.
• NOIZ_API_KEY configurada para o backend Noiz. Se não estiver definida, primeiro oriente o usuário a obter uma chave de API em https://developers.noiz.ai/api-keys. Após o usuário fornecer a chave, pergunte se ele deseja persisti-la; se concordar, escreva/atualize NOIZ_API_KEY=... no arquivo .env do projeto ou execute bash skills/tts/scripts/tts.sh config --set-api-key SUA_CHAVE para armazená-la.
• ffmpeg instalado.

Limitações

• O vídeo de origem deve ter legendas (ou legendas geradas automaticamente) disponíveis na plataforma para o idioma de origem.
• Vídeos muito longos podem levar um tempo significativo para traduzir e dublar.