Multi-Rollen / Dialog-Vertonung (Multi-voice Dubbing)
Wandeln Sie ein "Multi-Personen-Dialog / Multi-Rollen-Skript" in eine Mehrspur-Audiospur um – jeder Charakter erhält eine zu seiner Persönlichkeit passende Stimme,
kein "einheitlicher Monolog" mehr. Der Kernmotor skills/shared/scripts/multivoice.py:
Ruft zeilenweise tts.py (edge-tts kostenlose Multi-Stimmen) oder voice_clone.py (Cloud-Provider mit Ausdruckskraft / Stimmklon) auf,
speist die Emotion jeder Zeile in den echten Emotionskanal des Providers ein, fügt mit ffmpeg zu einer Spur zusammen und generiert synchronisierte Sprecher-Untertitel.
Die Kreativität (wer sagt was, mit welcher Emotion) stammt von Ihnen (LLM); die Stimmzuordnung erfolgt im Cast. Die deterministische IO (zeilenweise Synthese/Zusammenfügen/Untertitel) wird vom Motor übernommen. Das Ergebnis
voice.mp3kann direkt als Erzählung anauto-short-video/assemble.pyübergeben oder in jedes Video eingefügt werden;voice.srtsind die Untertitel mit Rollennamen.
Vertonungs-Qualitätsstufen (Wichtig: Gegen die "KI-flache-Lesung")
edge-tts hat keinen Emotionsmotor, kann nur Geschwindigkeit und Tonhöhe variieren – egal wie man es einstellt, es klingt wie eine maschinelle Vorlesung. Um "menschlich" zu klingen, muss ein Cloud-Provider mit Emotionskanal verwendet werden (Benutzer stellt eigenen Schlüssel, keine GPU erforderlich):
Engine (im Cast engine) | Qualität | Erfordert | Emotionsmechanismus |
|---|---|---|---|
edge (Standard, kostenlose Absicherung) | ⚠️ Flach, roboterhaft, nur für Entwürfe | Kein Schlüssel, Internet | Nur rate/pitch/volume Feintuning |
clone+openai-compatible→SiliconFlow CosyVoice2 (empfohlen) | Gut, natürliches Chinesisch | VOICE_API_KEY (günstig/Neukundengeschenke) | Inline `< |
clone+gemini | Gut, wirklich kostenlos | GEMINI_API_KEY (Google Free Tier, benötigt ggf. Proxy in China) | Natürlichsprachliches Präfix |
clone+minimax / dashscope | Gut, mit Emotion | Schlüssel des Anbieters | emotion Enumeration / instruct |
Empfehlung: SiliconFlow (Cloud-CosyVoice2, keine GPU nötig, stabilstes Chinesisch) Konfiguration in .env:
VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<Ihr Schlüssel>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline
Im Cast für Charaktere: --engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex (8 Stimmen alex/anna/benjamin/…).
- Zeilenweise Emotionsautomatik: Die
emotionjeder Zeile inlines.json(wütend/weinen/kalt lächeln/sanft…) wird vom Provider in entsprechende Emotionsparameter umgesetzt. Je konkreter, desto besser für die Darstellung. - Für "menschlich" klingen → mindestens dem Protagonisten/Hauptcharakter einen Cloud-Provider zuweisen (
engine=clone); mit Schlüssel gibt es Emotionen, ohne Schlüssel automatischer Rückfall auf edge (flach) mit Warnung. - Provider-Konfiguration siehe Kopf von
voice_clone.py(Umgebungsvariablen der Anbieter);voice_clone.py check --provider <Name>überprüft offline, ob der Schlüssel vollständig ist.
Wer nutzt es
Kurzdrama-Dialoge (short-drama intern bereits delegiert), wissenschaftliche Präsentationen mit zwei Sprechern (paper-explainer: Vortragender + Frager), Interview-/Podcast-Skripte, Hörspiele, jede Art von "mehreren Sprechern". Für einzelne durchgehende Erzählungen reicht tts-voiceover.
Eingabe
| Feld | Pflicht | Beschreibung |
|---|---|---|
| cast.json | Ja | Besetzungsliste: Jeder Sprecher → Stimme (edge-Stimme + pitch/rate oder Klon-Stimme). Enthält Eintrag für "Erzähler/Vortragender" |
| lines.json | Ja | Zeilenweiser Dialog: Geordnete Liste [{speaker, text, emotion}] (speaker verwendet Namen aus Cast; emotion z.B. kalt/wütend/angespannt/sanft, wird automatisch an den Tonfall angepasst) |
| Ausgabepfad | Nein | voice.mp3 (Standard gemäß Vereinbarung mit Aufrufer); voice.srt mit gleichem Namen |
Ausführungsschritte
1. Cast (cast.json) – Lesen Sie den Casting-Leitfaden zur Stimmauswahl
Lesen Sie zuerst skills/shared/references/voice-casting.md (Stimme → Archetyp-Vergleich + Unterscheidung gleichen Geschlechts + separates Intro + Emotionsrhythmus).
Weisen Sie jedem Sprecher eine zu Geschlecht/Alter/Temperament/Identität passende Stimme zu; Erzähler/Vortragender separat und anders als alle anderen Charaktere:
python skills/shared/scripts/multivoice.py cast init --cast <Pfad>/cast.json
python skills/shared/scripts/multivoice.py cast add --cast <Pfad>/cast.json \
--name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "Kühler Hauptdarsteller" # Negative Parameter mit Gleichheitszeichen
python skills/shared/scripts/multivoice.py cast add --cast <Pfad>/cast.json \
--name 苏晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "Sanfte Hauptdarstellerin"
python skills/shared/scripts/multivoice.py cast check --cast <Pfad>/cast.json # Überprüfung: Stimme gültig/Erzähler separat/keine Doppelbelegung
cast.json kann auch direkt geschrieben werden (ist JSON). Möchte man, dass ein Charakter menschlich mit Emotion klingt (gegen KI-flache Lesung) → diesem Charakter einen Cloud-Provider zuweisen:
python skills/shared/scripts/multivoice.py cast add --cast <Pfad>/cast.json \ --name 霸总 --role male_lead --engine clone --provider minimax --voice-id <Ihre Stimmen-ID> --note "Klon/Ausdrucksstimme"Benötigt den Schlüssel des entsprechenden Providers in
.env(voice_clone.py check --provider minimax); fehlt der Schlüssel, fällt dieser Charakter automatisch auf edge zurück (flach) mit Warnung.
2. Zeilenweiser Dialog (lines.json)
Zerlegen Sie das Skript/Dialogskript in geordnete Zeilen:
{"lines":[
{"speaker":"Vortragender","text":"Dieses Papier löst ein Kernproblem.","emotion":"neutral"},
{"speaker":"Frager","text":"Moment, warum funktionieren bestehende Methoden nicht?","emotion":"überrascht"},
{"speaker":"Vortragender","text":"Weil sie die zeitliche Abhängigkeit ignorieren.","emotion":"bestimmt"}
]}
speaker muss mit dem Namen im Cast übereinstimmen (bei Abweichung Rückfall auf Erzählerstimme mit Warnung); emotion optional.
3. Mehrspur-Audiospur + Untertitel synthetisieren
python skills/shared/scripts/multivoice.py dub \
--cast <Pfad>/cast.json --lines <Pfad>/lines.json -o <Pfad>/voice.mp3
Ausgabe: voice.mp3 (jeder Charakter eigene Stimmlage, Emotionen automatisch an Rhythmus angepasst) + voice.srt (mit Rollennamen, zeitlich synchronisiert mit tatsächlicher Zeilenlänge).
dub gibt die Anzahl der verwendeten Stimmlagen aus – stellen Sie sicher, dass es ≥2 sind (bei mehreren Sprechern sollte es nicht nur eine Stimme geben).
4. Ins Video einbinden
voice.mp3als Erzählung +voice.srtals Untertitel, anauto-short-video/scripts/assemble.pyübergeben (Bild/Video-Synthese).- Oder mit Hintergrundmusik mischen (audio-mix), in bestehendes Video einfügen (video-editing).
Degradation
- Kein Internet/edge-tts nicht erreichbar → Synthese nicht möglich, ehrlich mitteilen (Mehrspur-Vertonung benötigt edge-tts).
- Cast spezifiziert Klon-Stimme, aber Schlüssel fehlt/schlug fehl → dieser Charakter fällt automatisch auf edge kostenlose Stimme zurück mit Warnung, blockiert nicht.
- Sprecher nicht im Cast → Rückfall auf Erzählerstimme mit Warnung (empfehle, in Cast aufzunehmen).
Profil-Wahrnehmung
- Mit Profil:
style.mdbeeinflusst die Stimmauswahl (Charaktertemperament → Stimme);preferences.mdfiltert Dialogzeilen gemäß Richtlinien. - Ohne Profil: Standardmäßige Stimmauswahl gemäß voice-casting.md.
Regeln
- Mehrpersonen-Dialog MUSS mehrere Stimmen haben: Jeder Sprecher eigene Stimme, Erzähler/Vortragender separat – auf keinen Fall eine einzige Stimme durchgängig (
cast check+dubüberwacht Anzahl der Stimmlagen). - Menschlich klingen → Cloud-Provider verwenden: edge nur für Entwürfe; für Endprodukt/Hauptcharaktere
engine=clone+Provider (mit echtem Emotionskanal) nutzen, keine GPU nötig. - Stimme passend zum Charakter: Gemäß Archetyp-Vergleich in voice-casting.md + Unterscheidung gleichen Geschlechts durch pitch/rate.
- Emotionsangaben konkret: Jede Zeile in lines mit emotion markieren (wütend/weinen/kalt lächeln/sanft…), wird in den Emotionskanal des Providers eingespeist und treibt die Darstellung.
- Deterministische Archivierung: cast.json/lines.json als Dateien ablegen; Dialogänderungen/Stimmwechsel durch erneutes
dubumsetzen, kein Neuanfang nötig.
Quellen
Siehe EASEL-META.md. Multi-Rollen-Vertonung (Cast + zeilenweise lines + stimmbasierte Zeilensynthese + ffmpeg-Zusammenfügung + Sprecher-Untertitel) ist Eigenentwicklung von Easel;
unter der Haube verwendet es edge-tts (tts.py) und Cloud-Klon (voice_clone.py).