Dublagem Multi-Voz (Multi-voice Dubbing)
Transforme "diálogos com múltiplos personagens / scripts de vários personagens" em uma faixa de áudio com múltiplas vozes — cada personagem com uma voz que combina com sua personalidade, não mais "uma voz única do início ao fim". O mecanismo central é skills/shared/scripts/multivoice.py:
chama linha a linha tts.py (edge-tts gratuito com múltiplos timbres) ou voice_clone.py (provedor em nuvem com capacidade de expressão / clonagem de voz) para sintetizar,
alimenta a emoção de cada linha no canal de emoção real do provedor, e ffmpeg concatena em uma faixa + gera legendas alinhadas com o nome do falante.
A criatividade (quem diz o quê, com qual emoção) é produzida pelo seu LLM; o mapeamento de timbres está no cast. E/S determinística (síntese linha a linha / concatenação / legendas) segue o mecanismo. O produto
voice.mp3pode ser usado diretamente como narração paraauto-short-video/assemble.pyou adicionado a qualquer vídeo;voice.srtsão legendas com nomes dos personagens.
Níveis de Qualidade de Dublagem (Importante: para evitar "leitura robótica")
O edge-tts não possui mecanismo de emoção, apenas ajusta velocidade e tom. Por mais que se ajuste, ainda soa como leitura robótica. Para soar "como humano", é necessário usar provedores em nuvem com canal de emoção (o usuário fornece a própria chave, sem necessidade de GPU):
Motor (engine no cast) | Qualidade | Necessário | Mecanismo de Emoção |
|---|---|---|---|
edge (padrão, gratuito para fallback) | ⚠️ Plano, robótico, apenas para rascunhos | Sem chave, acesso à internet | Apenas ajustes de rate/pitch/volume |
clone+openai-compatible→SiliconFlow CosyVoice2 (recomendado) | Bom, chinês natural | VOICE_API_KEY (barato / novos usuários ganham saldo) | Instruções inline <|endofprompt|> |
clone+gemini | Bom, realmente gratuito | GEMINI_API_KEY (camada gratuita do Google, precisa de proxy na China) | Prefixo em linguagem natural |
clone+minimax / dashscope | Bom, com emoção | Chaves de cada provedor | Enumeração de emotion / instruções |
Recomendado SiliconFlow (CosyVoice2 em nuvem, sem GPU, mais estável para chinês) configure no .env:
VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<sua chave>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline
No cast, para cada personagem: --engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex (8 timbres: alex/anna/benjamin/…).
- Emoção linha a linha impulsiona a atuação automaticamente: a
emotionde cada linha nolines.json(raiva/chorar aos prantos/sorriso sarcástico/suave…) → o motor converte para parâmetros de emoção correspondentes conforme o provedor. Quanto mais específico, melhor a atuação. - Quer "soar como humano"? → Pelo menos para os personagens principais / papéis-chave, configure um provedor em nuvem (
engine=clone); com a chave, há emoção; sem chave, cai automaticamente para edge (plano) com alerta. - Configuração dos provedores veja no cabeçalho do
voice_clone.py(env vars de cada um);voice_clone.py check --provider <nome>verifica offline se as chaves estão completas.
Quem vai usar
Diálogos de curtas (short-drama já delegado internamente), explicação de artigos acadêmicos com dois participantes (paper-explainer: palestrante + perguntador), roteiros de entrevistas/podcasts, audiodramas, qualquer narração com "múltiplos falantes". Para narração contínua de um único locutor, use tts-voiceover.
Entrada
| Campo | Obrigatório | Descrição |
|---|---|---|
| cast.json | Sim | Tabela de elenco: cada falante → timbre de voz (timbre edge + pitch/rate, ou timbre clonado). Inclui entrada para "Narrador / Palestrante" |
| lines.json | Sim | Falas linha a linha: ordenadas [{speaker, text, emotion}] (speaker deve usar o nome no cast; emotion ex: frio/raiva/tensão/suave, combina automaticamente com o tom) |
| Caminho de saída | Não | voice.mp3 (padrão conforme combinado com quem chama); voice.srt com mesmo nome |
Passos de Execução
1. Elenco (cast.json) — Leia o guia de elenco para definir timbres
Primeiro leia skills/shared/references/voice-casting.md (correspondência timbre → arquétipo de personagem + diferenciação entre mesmo gênero + narrador independente + ritmo emocional).
Defina para cada falante um timbre que combine com seu gênero/idade/temperamento/identidade. Narrador/palestrante deve ser listado separadamente e ser diferente de todos os personagens:
python skills/shared/scripts/multivoice.py cast init --cast <caminho>/cast.json
python skills/shared/scripts/multivoice.py cast add --cast <caminho>/cast.json \
--name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "Protagonista frio" # Parâmetros negativos usam =
python skills/shared/scripts/multivoice.py cast add --cast <caminho>/cast.json \
--name 苏晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "Protagonista gentil"
python skills/shared/scripts/multivoice.py cast check --cast <caminho>/cast.json # Verificação: timbre válido/narrador independente/sem conflito de timbres
cast.json também pode ser escrito diretamente (é JSON). Se quiser que um personagem soe como humano com emoção (evitar leitura robótica) → use provedor em nuvem para esse personagem:
python skills/shared/scripts/multivoice.py cast add --cast <caminho>/cast.json \ --name 霸总 --role male_lead --engine clone --provider minimax --voice-id <seu id de timbre> --note "Timbre clonado/expressivo"É necessário configurar a chave do provedor correspondente no
.env(voice_clone.py check --provider minimax); sem chave, o personagem cai automaticamente para edge (plano) com alerta.
2. Falas linha a linha (lines.json)
Divida o script / roteiro de diálogo em linhas ordenadas:
{"lines":[
{"speaker":"Palestrante","text":"Este artigo resolve um problema fundamental.","emotion":"neutro"},
{"speaker":"Perguntador","text":"Espere, por que os métodos existentes não funcionam?","emotion":"surpreso"},
{"speaker":"Palestrante","text":"Porque eles ignoram a dependência temporal.","emotion":"firme"}
]}
speaker deve coincidir com os nomes no cast (se não coincidir, cai para o timbre do narrador com alerta); emotion é opcional.
3. Sintetizar faixa de áudio com múltiplas vozes + legendas
python skills/shared/scripts/multivoice.py dub \
--cast <caminho>/cast.json --lines <caminho>/lines.json -o <caminho>/voice.mp3
Produz voice.mp3 (cada personagem com timbre independente, emoção ajusta automaticamente o ritmo) + voice.srt (com nome do personagem, tempo alinhado conforme duração real de cada fala).
O comando dub imprime quantos timbres diferentes foram usados — confirme que ≥2 (um diálogo com várias pessoas não deve ter apenas uma voz).
4. Usar em vídeos
voice.mp3como narração +voice.srtcomo legenda, alimenteauto-short-video/scripts/assemble.py(síntese de imagem/vídeo).- Ou misture com música de fundo (audio-mix), adicione a vídeo existente (video-editing).
Degradação
- Sem internet / edge-tts não funciona → impossível sintetizar, informe honestamente (dublagem multi-voz depende de edge-tts).
- Cast especifica timbre clonado mas falta chave/falha → o personagem cai automaticamente para timbre gratuito edge com alerta, sem bloquear.
- Falante não está no cast → cai para timbre do narrador com alerta (recomenda-se adicionar ao cast).
Consciência de Perfil
- Com Perfil:
style.mdinfluencia a escolha do timbre (temperamento do personagem → timbre);preferences.mdfiltra falas conforme regras. - Sem Perfil: segue o padrão do voice-casting.md para escolha de timbres.
Regras
- Diálogo com múltiplas pessoas deve ter múltiplas vozes: cada falante com timbre independente, narrador/palestrante listado separadamente — nunca permitir uma única voz do início ao fim (
cast check+dubcontam o número de vozes). - Para soar humano, use provedor em nuvem: edge serve apenas para rascunhos; para produto final / personagens-chave use
engine=clone+provider (com canal de emoção real), sem necessidade de GPU. - Timbre deve combinar com o personagem: siga a correspondência de arquétipos no voice-casting.md + diferencie mesmo gênero com pitch/rate.
- Anotação de emoção deve ser específica: cada linha em lines deve ter emotion (raiva/chorar aos prantos/sorriso sarcástico/suave…), que será alimentada no canal de emoção do provedor para impulsionar a atuação.
- Registro determinístico: cast.json / lines.json salvos em arquivo; para alterar falas ou trocar timbres, basta reexecutar
dub, sem precisar recomeçar.
Referências
Veja EASEL-META.md. Dublagem multi-voz (cast + lines linha a linha + síntese linha a linha por timbre de personagem + concatenação com ffmpeg + legendas com nome do falante) é pesquisa própria do Easel;
empacota edge-tts (tts.py) e clonagem em nuvem (voice_clone.py) como camada inferior.