多角色 / 對話配音(Multi-voice Dubbing)
把「多人對話 / 多角色腳本」合成為多聲線音軌——每個角色一個符合其人設的聲音,
不再是「全程一個聲音」。核心引擎 skills/shared/scripts/multivoice.py:
逐行調 tts.py(edge-tts 免費多音色)或 voice_clone.py(雲端表現力 provider / 克隆音色)合成,
把每行 emotion 餵進 provider 的真情緒通道,ffmpeg 拼成一軌 + 生成對齊的說話人字幕。
創意(誰說什麼、什麼情緒)由你 LLM 產出;音色映射在 cast。確定性 IO(逐行合成/拼接/字幕)走引擎。 產物
voice.mp3可直接當 narration 餵auto-short-video/assemble.py或加進任意影片;voice.srt是帶角色名的字幕。
配音品質分層(重要:治「像 AI 平讀」)
edge-tts 沒有情感引擎,只能變速變調,再怎麼調也像機器平讀。要「像人」必須用有情緒通道的雲 provider(用戶自備 key,無需 GPU):
引擎(cast 裡 engine) | 品質 | 需要 | 情感機制 |
|---|---|---|---|
edge(預設,免費兜底) | ⚠️ 平、機器感,僅供草稿 | 無 key、外網 | 僅 rate/pitch/volume 微調 |
clone+openai-compatible→SiliconFlow CosyVoice2(推薦) | 好、中文自然 | VOICE_API_KEY(便宜/新用戶贈額) | 內聯 <|endofprompt|> 指令 |
clone+gemini | 好、真免費 | GEMINI_API_KEY(Google 免費層,國內需代理) | 自然語言前綴 |
clone+minimax / dashscope | 好、有情緒 | 各家 key | emotion 列舉 / instruct |
推薦 SiliconFlow(雲端 CosyVoice2、無需 GPU、中文最穩)配置落 .env:
VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<你的key>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline
cast 裡角色:--engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex(8 音色 alex/anna/benjamin/…)。
- 逐行 emotion 自動驅動演繹:
lines.json每行的emotion(憤怒/崩潰大哭/冷笑/溫柔…)→ 引擎按 provider 轉成對應情感參數。寫具體越貼戲越好。 - 想要「像人」→ 至少給主角/關鍵角色配一個雲 provider(
engine=clone);配了 key 才有情緒,沒 key 自動回退 edge(平)並告警。 - provider 配置見
voice_clone.py頭部(各家 env);voice_clone.py check --provider <名>離線校驗 key 是否齊。
誰會用到
短劇對白(short-drama 已內部委派)、論文雙人問答講解(paper-explainer:主講+提問者)、 訪談/播客腳本、有聲劇、任何「多個說話人」的口播。單人整段口播用 tts-voiceover 即可。
輸入
| 欄位 | 必填 | 說明 |
|---|---|---|
| cast.json | 是 | 選角表:每個說話人 → 音色(edge 音色 + pitch/rate,或克隆音色)。含「旁白/主講」條目 |
| lines.json | 是 | 逐行台詞:有序 [{speaker, text, emotion}](speaker 用 cast 裡的名字;emotion 如 冷/怒/緊張/溫柔,自動匹配語氣) |
| 輸出路徑 | 否 | voice.mp3(預設與呼叫方約定);voice.srt 同名 |
執行步驟
1. 選角(cast.json)——讀選角指南定音色
先讀 skills/shared/references/voice-casting.md(音色→人物原型對照 + 同性別區分 + 旁白獨立 + 情緒韻律)。
為每個說話人定一個符合其性別/年齡/氣質/身份的音色,旁白/主講單列且與所有角色不同:
python skills/shared/scripts/multivoice.py cast init --cast <路徑>/cast.json
python skills/shared/scripts/multivoice.py cast add --cast <路徑>/cast.json \
--name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "冷峻男主" # 負值參數用等號
python skills/shared/scripts/multivoice.py cast add --cast <路徑>/cast.json \
--name 蘇晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "溫婉女主"
python skills/shared/scripts/multivoice.py cast check --cast <路徑>/cast.json # 校驗:音色有效/旁白獨立/無撞音色
cast.json 也可直接寫(就是 JSON)。想讓某角色像真人有情緒(治 AI 平讀)→ 該角色用雲 provider:
python skills/shared/scripts/multivoice.py cast add --cast <路徑>/cast.json \ --name 霸總 --role male_lead --engine clone --provider minimax --voice-id <你的音色id> --note "克隆/表現力音色"需在
.env配對應 provider 的 key(voice_clone.py check --provider minimax);缺 key 該角色自動回退 edge(平)並告警。
2. 逐行台詞(lines.json)
把腳本 / 對話稿拆成有序逐行:
{"lines":[
{"speaker":"主講","text":"這篇論文解決了一個關鍵問題。","emotion":"平"},
{"speaker":"提問","text":"等等,為什麼現有方法不行?","emotion":"驚"},
{"speaker":"主講","text":"因為它們忽略了時序依賴。","emotion":"堅定"}
]}
speaker 必須與 cast 裡的名字一致(不一致會回退旁白音色並告警);emotion 可選。
3. 合成多聲線音軌 + 字幕
python skills/shared/scripts/multivoice.py dub \
--cast <路徑>/cast.json --lines <路徑>/lines.json -o <路徑>/voice.mp3
產出 voice.mp3(每角色獨立聲線、情緒自動調韻律)+ voice.srt(帶角色名,時序按逐行實測時長對齊)。
dub 會列印用了幾種聲線——確認 ≥2 種(多人對話不該只有一個聲音)。
4. 用到影片裡
voice.mp3作 narration +voice.srt作字幕,餵auto-short-video/scripts/assemble.py(圖/影片合成)。- 或與 BGM 混音(audio-mix)、加進已有影片(video-editing)。
降級
- 缺外網/edge-tts 不通 → 無法合成,如實告知(多聲線依賴 edge-tts)。
- cast 指定克隆音色但缺 key/失敗 → 該角色自動回退 edge 免費音色並告警,不阻斷。
- 說話人不在 cast → 回退旁白音色並告警(建議補進 cast)。
Profile 感知
- 有 Profile:
style.md融進音色氣質選擇(角色氣質→音色);preferences.md紅線過濾台詞。 - 無 Profile:按 voice-casting.md 預設對照選音色。
規則
- 多人對話必須多聲線:每個說話人獨立音色、旁白/主講單列——絕不允許全程一個聲音(
cast check+dub聲線數把關)。 - 要像人就上雲 provider:edge 只配草稿;成品/關鍵角色用
engine=clone+provider(有真情緒通道),無需 GPU。 - 音色貼人物:按 voice-casting.md 的原型對照 + 同性別用 pitch/rate 區分。
- 情緒標註要具體:lines 每行標 emotion(憤怒/崩潰大哭/冷笑/溫柔…),會餵進 provider 情感通道驅動演繹。
- 確定性留檔:cast.json / lines.json 落檔案,改台詞/換音色重跑
dub即可,不必重來。
參考來源
見 EASEL-META.md。多聲線配音(cast + 逐行 lines + 按角色音色逐行合成 + ffmpeg 拼接 + 說話人字幕)為 Easel 自研;
底層封裝 edge-tts(tts.py)與雲端克隆(voice_clone.py)。