Doublage Multi-Voix (Multi-voice Dubbing)
Transformez un dialogue à plusieurs personnages / un script multi-rôle en une piste audio multi-voix : chaque personnage reçoit une voix adaptée à son profil, au lieu d'une seule voix uniforme. Le moteur central est skills/shared/scripts/multivoice.py : il appelle ligne par ligne tts.py (edge-tts, gratuit et multi-timbres) ou voice_clone.py (provider cloud expressif / clonage vocal) pour la synthèse, injecte l'émotion de chaque ligne dans le canal émotionnel réel du provider, puis utilise ffmpeg pour assembler le tout et générer des sous-titres alignés avec le nom du locuteur.
La créativité (qui dit quoi, avec quelle émotion) est produite par votre LLM ; le mappage des timbres est défini dans le cast. Les opérations déterministes de sortie (synthèse ligne par ligne, assemblage, sous-titres) sont gérées par le moteur. Le fichier produit
voice.mp3peut être directement utilisé comme narration pourauto-short-video/assemble.pyou intégré dans n'importe quelle vidéo ;voice.srtcontient les sous-titres avec le nom du personnage.
Hiérarchie de Qualité du Doublage (Important : Éviter la Lecture Robotique)
Edge-tts n'a pas de moteur émotionnel : il ne peut que modifier la vitesse et la hauteur, ce qui donne un résultat mécanique. Pour obtenir un rendu "humain", il faut utiliser un provider cloud avec canal émotionnel (vous fournissez la clé, pas besoin de GPU) :
Moteur (engine dans le cast) | Qualité | Nécessite | Mécanisme Émotionnel |
|---|---|---|---|
edge (par défaut, gratuit) | ⚠️ Plat, robotique, seulement pour brouillon | Pas de clé, accès internet | Ajustement limité rate/pitch/volume |
clone+openai-compatible→SiliconFlow CosyVoice2 (recommandé) | Bonne, naturelle en chinois | VOICE_API_KEY (peu coûteux / crédit offert pour nouveaux utilisateurs) | Instructions via `< |
clone+gemini | Bonne, vraiment gratuit | GEMINI_API_KEY (niveau gratuit Google, proxy nécessaire en Chine) | Préfixe en langage naturel |
clone+minimax / dashscope | Bonne, avec émotion | Clé du fournisseur | Énumération / instruction d'émotion |
Recommandation SiliconFlow (CosyVoice2 cloud, sans GPU, plus stable pour le chinois) : configuration dans .env :
VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<votre_clé>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline
Dans le cast, pour un personnage : --engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex (8 timbres : alex/anna/benjamin/…).
- Interprétation automatique ligne par ligne via l'émotion : l'
emotionde chaque ligne danslines.json(colère, effondrement en larmes, rire glacial, tendresse…) est convertie par le provider en paramètres émotionnels correspondants. Plus vous êtes précis, meilleur est le rendu. - Pour un résultat "humain" → attribuez au moins aux personnages principaux / clés un provider cloud (
engine=clone) ; avec une clé, l'émotion est active ; sans clé, le système retombe automatiquement sur edge (plat) avec un avertissement. - La configuration des providers se trouve en tête de
voice_clone.py(variables d'environnement) ; exécutezvoice_clone.py check --provider <nom>pour vérifier que la clé est bien présente.
À qui cela s'adresse ?
Doublage de mini-séries (déjà intégré dans short-drama), explication d'articles scientifiques en duo (paper-explainer : présentateur + questionneur),
scripts d'interviews/podcasts, pièces radiophoniques, ou toute production avec plusieurs intervenants. Pour une voix unique continue, utilisez plutôt tts-voiceover.
Entrées
| Champ | Obligatoire | Description |
|---|---|---|
| cast.json | Oui | Table de casting : chaque locuteur → timbre (timbre edge + pitch/rate, ou timbre cloné). Inclut une entrée pour le narrateur / présentateur |
| lines.json | Oui | Répliques ligne par ligne : [{speaker, text, emotion}] (speaker doit correspondre à un nom du cast ; emotion ex : froid/colère/tension/tendresse, adaptée automatiquement au ton) |
| Chemin de sortie | Non | voice.mp3 (par défaut selon la convention avec l'appelant) ; voice.srt au même emplacement |
Étapes d'exécution
1. Casting (cast.json) – Consultez le guide de casting pour définir les timbres
Lisez d'abord skills/shared/references/voice-casting.md (correspondance timbre → archétype de personnage, distinction entre personnages de même sexe, indépendance du narrateur, prosodie émotionnelle).
Définissez pour chaque locuteur un timbre correspondant à son sexe/âge/tempérament/statut, le narrateur/présentateur doit être distinct et listé à part :
python skills/shared/scripts/multivoice.py cast init --cast <chemin>/cast.json
python skills/shared/scripts/multivoice.py cast add --cast <chemin>/cast.json \
--name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "Héros froid" # les paramètres négatifs utilisent =
python skills/shared/scripts/multivoice.py cast add --cast <chemin>/cast.json \
--name 苏晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "Héroïne douce"
python skills/shared/scripts/multivoice.py cast check --cast <chemin>/cast.json # Validation : timbre valide, narrateur distinct, pas de doublon de timbre
cast.json peut aussi être écrit directement (c'est du JSON). Pour qu'un personnage ait une émotion réaliste (éviter la lecture robotique) → utilisez un provider cloud pour ce personnage :
python skills/shared/scripts/multivoice.py cast add --cast <chemin>/cast.json \ --name 霸总 --role male_lead --engine clone --provider minimax --voice-id <votre_identifiant_de_timbre> --note "Timbre cloné/expressif"La clé du provider correspondant doit être configurée dans
.env(voice_clone.py check --provider minimax) ; si la clé manque, le personnage retombe automatiquement sur edge (plat) avec un avertissement.
2. Répliques ligne par ligne (lines.json)
Découpez le script / dialogue en lignes ordonnées :
{"lines":[
{"speaker":"Présentateur","text":"Cet article résout un problème clé.","emotion":"neutre"},
{"speaker":"Questionneur","text":"Attendez, pourquoi les méthodes actuelles ne fonctionnent-elles pas ?","emotion":"surprise"},
{"speaker":"Présentateur","text":"Parce qu'elles ignorent les dépendances temporelles.","emotion":"ferme"}
]}
Le champ speaker doit correspondre exactement à un nom du cast (sinon, retour au timbre narrateur avec avertissement) ; emotion est facultatif.
3. Synthèse de la piste multi-voix + sous-titres
python skills/shared/scripts/multivoice.py dub \
--cast <chemin>/cast.json --lines <chemin>/lines.json -o <chemin>/voice.mp3
Produit voice.mp3 (chaque personnage a son timbre distinct, l'émotion ajuste automatiquement la prosodie) + voice.srt (avec le nom du personnage, synchronisé temporellement en fonction de la durée réelle de chaque ligne).
dub affiche le nombre de timbres utilisés — vérifiez qu'il y en a ≥2 (un dialogue à plusieurs personnages ne doit pas avoir une seule voix).
4. Utilisation dans une vidéo
voice.mp3comme narration +voice.srtcomme sous-titres, à passer àauto-short-video/scripts/assemble.py(composition image/vidéo).- Ou mixez avec de la musique de fond (audio-mix), ou intégrez à une vidéo existante (video-editing).
Dégradations
- Pas d'accès internet / edge-tts indisponible → impossible de synthétiser, informez l'utilisateur (le multi-voix dépend d'edge-tts).
- Cast spécifie un timbre cloné mais clé manquante/échec → le personnage retombe automatiquement sur le timbre gratuit edge avec avertissement, sans bloquer le processus.
- Locuteur absent du cast → retour au timbre narrateur avec avertissement (suggérez de l'ajouter au cast).
Sensibilité au Profil
- Avec Profil :
style.mdinfluence le choix du timbre (tempérament du personnage → timbre) ;preferences.mdfiltre les répliques selon les limites définies. - Sans Profil : sélection des timbres selon les correspondances par défaut du guide voice-casting.md.
Règles
- Un dialogue à plusieurs personnages doit impérativement avoir plusieurs timbres : chaque locuteur a un timbre distinct, le narrateur/présentateur est listé à part — interdiction d'avoir une seule voix pour tout le dialogue (contrôle via
cast check+ nombre de timbres affiché pardub). - Pour un rendu humain, utilisez un provider cloud : edge ne convient que pour les brouillons ; pour un résultat final ou des personnages clés, utilisez
engine=clone+provider (avec vrai canal émotionnel), pas besoin de GPU. - Le timbre doit correspondre au personnage : suivez les archétypes du guide voice-casting.md et différenciez les personnages de même sexe avec pitch/rate.
- Les émotions doivent être précises : chaque ligne doit indiquer une émotion (colère, effondrement en larmes, rire glacial, tendresse…), qui sera injectée dans le canal émotionnel du provider pour guider l'interprétation.
- Conservation déterministe : les fichiers cast.json / lines.json sont sauvegardés ; pour modifier des répliques ou changer un timbre, relancez simplement
dub, sans recommencer depuis le début.
Sources de Référence
Voir EASEL-META.md. Le doublage multi-voix (cast + répliques lignes + synthèse ligne par ligne selon le timbre + assemblage ffmpeg + sous-titres par locuteur) est une création originale d'Easel ; les couches sous-jacentes utilisent edge-tts (tts.py) et le clonage cloud (voice_clone.py).