Doblaje Multivoice (Multi-voice Dubbing)
Convierte un guion con múltiples personajes / diálogos en una pista de audio con múltiples tonos de voz — cada personaje con una voz acorde a su personalidad, sin que todo suene a la misma voz. El motor central es skills/shared/scripts/multivoice.py: procesa línea por línea llamando a tts.py (edge-tts, multitonos gratuito) o voice_clone.py (proveedor en la nube con capacidad expresiva / clonación de voz), inyecta la emoción de cada línea en el canal de sentimiento real del proveedor, y ffmpeg une todo en una sola pista + genera subtítulos alineados con los nombres de los hablantes.
La creatividad (quién dice qué y con qué emoción) la aporta el LLM; el mapeo de voces está en
cast. El IO determinista (síntesis línea por línea / concatenación / subtítulos) lo maneja el motor. El productovoice.mp3puede usarse directamente como narración paraauto-short-video/assemble.pyo añadirse a cualquier vídeo;voice.srtson los subtítulos con nombres de personajes.
Capas de Calidad en el Doblaje (Importante: evita el sonido robótico)
edge-tts no tiene motor emocional, solo ajusta velocidad y tono, por mucho que se intente sigue sonando como una máquina. Para que suene "humano" es necesario usar un proveedor en la nube con canal de emociones (el usuario proporciona su propia clave, no necesita GPU):
Motor (engine en cast) | Calidad | Requiere | Mecanismo de Emoción |
|---|---|---|---|
edge (por defecto, gratuito de respaldo) | ⚠️ Plano, robótico, solo para borradores | Sin clave, acceso a Internet | Solo ajustes de rate/pitch/volume |
clone+openai-compatible → SiliconFlow CosyVoice2 (recomendado) | Buena, chino natural | VOICE_API_KEY (barato / nuevo usuario con crédito gratuito) | Instrucciones inline `< |
clone+gemini | Buena, realmente gratuito | GEMINI_API_KEY (nivel gratuito de Google, necesita proxy en China) | Prefijo en lenguaje natural |
clone+minimax / dashscope | Buena, con emoción | Clave de cada proveedor | Enumeración de emociones / instrucciones |
Recomendado SiliconFlow (CosyVoice2 en la nube, sin GPU, el más estable en chino). Configurar en .env:
VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<tu clave>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline
En cast, un personaje: --engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex (8 tonos: alex/anna/benjamin/…).
- La emoción de cada línea impulsa automáticamente la interpretación: cada línea de
lines.jsontiene un campoemotion(enfado/llanto desgarrador/risa fría/suavidad…) → el motor lo convierte en el parámetro de emoción correspondiente según el proveedor. Cuanto más específica, mejor. - Si quieres que suene "humano" → al menos asigna un proveedor en la nube a los personajes principales o clave (
engine=clone). Con clave hay emoción, sin clave se degrada automáticamente a edge (plano) y muestra una advertencia. - Configuración del proveedor en la cabecera de
voice_clone.py(variables de entorno de cada uno);voice_clone.py check --provider <nombre>verifica offline si la clave está completa.
¿Quién lo usa?
Diálogos de series cortas (ya delegado internamente en short-drama), explicaciones de artículos académicos con preguntas y respuestas entre dos personas (paper-explainer: presentador + interlocutor), guiones de entrevistas/podcasts, audiolibros dramatizados, cualquier contenido hablado con múltiples hablantes. Para una sola narración continua, usa tts-voiceover.
Entrada
| Campo | Obligatorio | Descripción |
|---|---|---|
| cast.json | Sí | Tabla de reparto: cada hablante → tono de voz (tono edge + pitch/rate, o tono clonado). Incluye entrada para "narrador / presentador" |
| lines.json | Sí | Diálogos línea por línea: [{speaker, text, emotion}] (speaker debe coincidir con un nombre en cast; emotion puede ser frío/ira/tensión/suavidad, se ajusta automáticamente al tono) |
| Ruta de salida | No | voice.mp3 (por defecto según convenio con quien llama); voice.srt con el mismo nombre |
Pasos de Ejecución
1. Reparto (cast.json) — Lee la guía de reparto para definir los tonos
Primero lee skills/shared/references/voice-casting.md (correspondencia tono → arquetipo de personaje + diferenciación entre géneros + narrador independiente + ritmo emocional).
Asigna a cada hablante un tono acorde a su sexo/edad/temperamento/identidad; el narrador/presentador va por separado y es diferente de todos los personajes:
python skills/shared/scripts/multivoice.py cast init --cast <ruta>/cast.json
python skills/shared/scripts/multivoice.py cast add --cast <ruta>/cast.json \
--name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "Protagonista frío" # los parámetros negativos usan =
python skills/shared/scripts/multivoice.py cast add --cast <ruta>/cast.json \
--name 苏晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "Protagonista dulce"
python skills/shared/scripts/multivoice.py cast check --cast <ruta>/cast.json # Verificar: tono válido/narrador independiente/sin tonos duplicados
cast.jsontambién se puede escribir directamente (es JSON). Si quieres que un personaje suene humano con emociones (evitar sonido robótico) → usa un proveedor en la nube para ese personaje:python skills/shared/scripts/multivoice.py cast add --cast <ruta>/cast.json \ --name 霸总 --role male_lead --engine clone --provider minimax --voice-id <id de tu tono> --note "Tono clonado / expresivo"Necesitas configurar la clave del proveedor correspondiente en
.env(voice_clone.py check --provider minimax); si falta la clave, ese personaje se degrada automáticamente a edge (plano) y muestra una advertencia.
2. Diálogos línea por línea (lines.json)
Divide el guion / diálogo en líneas ordenadas:
{"lines":[
{"speaker":"Presentador","text":"Este artículo resuelve un problema clave.","emotion":"neutral"},
{"speaker":"Interlocutor","text":"Espera, ¿por qué los métodos actuales no funcionan?","emotion":"sorpresa"},
{"speaker":"Presentador","text":"Porque ignoran las dependencias temporales.","emotion":"firme"}
]}
speaker debe coincidir exactamente con los nombres en cast (si no coincide, se degrada al tono del narrador y muestra advertencia); emotion es opcional.
3. Sintetizar pista multivoice + subtítulos
python skills/shared/scripts/multivoice.py dub \
--cast <ruta>/cast.json --lines <ruta>/lines.json -o <ruta>/voice.mp3
Genera voice.mp3 (cada personaje con tono independiente, emoción que ajusta automáticamente el ritmo) + voice.srt (con nombres de personajes, temporizado según la duración real de cada línea).
dub imprime cuántos tonos se usaron — confirma que sean ≥2 (en una conversación múltiple no debería haber una sola voz).
4. Usar en vídeo
voice.mp3como narración +voice.srtcomo subtítulos, se alimenta aauto-short-video/scripts/assemble.py(síntesis de imagen/vídeo).- O mezclar con música de fondo (audio-mix), o añadir a un vídeo existente (video-editing).
Degradación
- Sin acceso a Internet / edge-tts no funciona → no se puede sintetizar, se informa claramente (el multivoice depende de edge-tts).
- Si
castespecifica un tono clonado pero falta la clave o falla → ese personaje se degrada automáticamente al tono gratuito de edge y muestra advertencia, no bloquea. - Si un hablante no está en
cast→ se degrada al tono del narrador y muestra advertencia (se recomienda añadirlo acast).
Sensibilidad al Perfil
- Con Perfil:
style.mdse integra en la selección del tono de voz (temperamento del personaje → tono);preferences.mdfiltra líneas según reglas. - Sin Perfil: se selecciona el tono según las correspondencias por defecto de voice-casting.md.
Reglas
- Las conversaciones múltiples deben tener multivoice: cada hablante con tono independiente, narrador/presentador por separado — nunca permitir una sola voz durante todo el diálogo (
cast check+ recuento de tonos endubcomo control). - Para sonar humano, usa proveedor en la nube: edge solo para borradores; para producto final / personajes clave, usa
engine=clone+provider (con canal de emociones real), sin GPU. - Tono acorde al personaje: según las correspondencias de arquetipos en voice-casting.md + diferenciación entre personajes del mismo sexo usando pitch/rate.
- Las emociones deben ser específicas: cada línea en
linesdebe teneremotion(enfado/llanto desgarrador/risa fría/suavidad…), que se inyecta en el canal de emociones del proveedor para impulsar la interpretación. - Registro determinista:
cast.json/lines.jsonse guardan como archivos; si cambias líneas o tonos, solo ejecuta de nuevodub, no hace falta empezar desde cero.
Fuentes de Referencia
Ver EASEL-META.md. El doblaje multivoice (reparto + líneas línea por línea + síntesis por personaje según tono + concatenación con ffmpeg + subtítulos con hablante) es desarrollo propio de Easel;
las capas inferiores envuelven edge-tts (tts.py) y clonación en la nube (voice_clone.py).