Communitygithub.com

ZJU-REAL/Easel

多角色對話配音:依據 cast 和逐行台詞為不同角色分配音色與情緒,合成多聲線音軌和帶角色名字幕。

Easel 是什麼?

此技能專為需要「多角色對話配音」的情境設計,例如短劇對白、論文雙人問答、訪談或播客腳本等。使用者只需提供 cast.json(選角表)和 lines.json(逐行台詞與情緒標註),引擎便會依據指定音色與情緒參數,逐行調用免費的 edge-tts 或支援情感通道的雲端提供者(如 SiliconFlow、Gemini、Minimax)進行合成,最後透過 ffmpeg 拼接成一軌音訊,並產生對齊角色名字幕檔(voice.srt)。其核心在於抽象化「配音導演」與「音效工程」兩個職責:LLM 負責創意發想(誰說什麼、情緒為何),而 Easel 負責執行逐行合成、拼接與字幕生成。支援多平台(包括邊緣運算與雲端),並提供 cast check 與 dub 指令確保多聲線與情感品質;若 key 缺失則自動降級回 edge 免費音色,確保流程不中斷。

相容平台~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/multi-voice-dubbing

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

多角色 / 對話配音(Multi-voice Dubbing)

把「多人對話 / 多角色腳本」合成為多聲線音軌——每個角色一個符合其人設的聲音, 不再是「全程一個聲音」。核心引擎 skills/shared/scripts/multivoice.py: 逐行調 tts.py(edge-tts 免費多音色)或 voice_clone.py(雲端表現力 provider / 克隆音色)合成, 把每行 emotion 餵進 provider 的真情緒通道,ffmpeg 拼成一軌 + 生成對齊的說話人字幕。

創意(誰說什麼、什麼情緒)由你 LLM 產出;音色映射在 cast。確定性 IO(逐行合成/拼接/字幕)走引擎。 產物 voice.mp3 可直接當 narration 餵 auto-short-video/assemble.py 或加進任意影片;voice.srt 是帶角色名的字幕。

配音品質分層(重要:治「像 AI 平讀」)

edge-tts 沒有情感引擎,只能變速變調,再怎麼調也像機器平讀。要「像人」必須用有情緒通道的雲 provider(用戶自備 key,無需 GPU):

引擎(cast 裡 engine)品質需要情感機制
edge(預設,免費兜底)⚠️ 平、機器感,僅供草稿無 key、外網僅 rate/pitch/volume 微調
clone+openai-compatible→SiliconFlow CosyVoice2(推薦)好、中文自然VOICE_API_KEY(便宜/新用戶贈額)內聯 <|endofprompt|> 指令
clone+gemini好、真免費GEMINI_API_KEY(Google 免費層,國內需代理)自然語言前綴
clone+minimax / dashscope好、有情緒各家 keyemotion 列舉 / instruct

推薦 SiliconFlow(雲端 CosyVoice2、無需 GPU、中文最穩)配置落 .env:

VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<你的key>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline

cast 裡角色:--engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex(8 音色 alex/anna/benjamin/…)。

  • 逐行 emotion 自動驅動演繹:lines.json 每行的 emotion(憤怒/崩潰大哭/冷笑/溫柔…)→ 引擎按 provider 轉成對應情感參數。寫具體越貼戲越好。
  • 想要「像人」→ 至少給主角/關鍵角色配一個雲 provider(engine=clone);配了 key 才有情緒,沒 key 自動回退 edge(平)並告警。
  • provider 配置見 voice_clone.py 頭部(各家 env);voice_clone.py check --provider <名> 離線校驗 key 是否齊。

誰會用到

短劇對白(short-drama 已內部委派)、論文雙人問答講解(paper-explainer:主講+提問者)、 訪談/播客腳本、有聲劇、任何「多個說話人」的口播。單人整段口播用 tts-voiceover 即可。

輸入

欄位必填說明
cast.json是選角表:每個說話人 → 音色(edge 音色 + pitch/rate,或克隆音色)。含「旁白/主講」條目
lines.json是逐行台詞:有序 [{speaker, text, emotion}](speaker 用 cast 裡的名字;emotion 如 冷/怒/緊張/溫柔,自動匹配語氣)
輸出路徑否voice.mp3(預設與呼叫方約定);voice.srt 同名

執行步驟

1. 選角(cast.json)——讀選角指南定音色

先讀 skills/shared/references/voice-casting.md(音色→人物原型對照 + 同性別區分 + 旁白獨立 + 情緒韻律)。 為每個說話人定一個符合其性別/年齡/氣質/身份的音色,旁白/主講單列且與所有角色不同:

python skills/shared/scripts/multivoice.py cast init  --cast <路徑>/cast.json
python skills/shared/scripts/multivoice.py cast add   --cast <路徑>/cast.json \
    --name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "冷峻男主"   # 負值參數用等號
python skills/shared/scripts/multivoice.py cast add   --cast <路徑>/cast.json \
    --name 蘇晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "溫婉女主"
python skills/shared/scripts/multivoice.py cast check --cast <路徑>/cast.json    # 校驗:音色有效/旁白獨立/無撞音色

cast.json 也可直接寫(就是 JSON)。想讓某角色像真人有情緒(治 AI 平讀)→ 該角色用雲 provider:

python skills/shared/scripts/multivoice.py cast add --cast <路徑>/cast.json \
    --name 霸總 --role male_lead --engine clone --provider minimax --voice-id <你的音色id> --note "克隆/表現力音色"

需在 .env 配對應 provider 的 key(voice_clone.py check --provider minimax);缺 key 該角色自動回退 edge(平)並告警。

2. 逐行台詞(lines.json)

把腳本 / 對話稿拆成有序逐行:

{"lines":[
  {"speaker":"主講","text":"這篇論文解決了一個關鍵問題。","emotion":"平"},
  {"speaker":"提問","text":"等等,為什麼現有方法不行?","emotion":"驚"},
  {"speaker":"主講","text":"因為它們忽略了時序依賴。","emotion":"堅定"}
]}

speaker 必須與 cast 裡的名字一致(不一致會回退旁白音色並告警);emotion 可選。

3. 合成多聲線音軌 + 字幕

python skills/shared/scripts/multivoice.py dub \
    --cast <路徑>/cast.json --lines <路徑>/lines.json -o <路徑>/voice.mp3

產出 voice.mp3(每角色獨立聲線、情緒自動調韻律)+ voice.srt(帶角色名,時序按逐行實測時長對齊)。 dub 會列印用了幾種聲線——確認 ≥2 種(多人對話不該只有一個聲音)。

4. 用到影片裡

  • voice.mp3 作 narration + voice.srt 作字幕,餵 auto-short-video/scripts/assemble.py(圖/影片合成)。
  • 或與 BGM 混音(audio-mix)、加進已有影片(video-editing)。

降級

  • 缺外網/edge-tts 不通 → 無法合成,如實告知(多聲線依賴 edge-tts)。
  • cast 指定克隆音色但缺 key/失敗 → 該角色自動回退 edge 免費音色並告警,不阻斷。
  • 說話人不在 cast → 回退旁白音色並告警(建議補進 cast)。

Profile 感知

  • 有 Profile:style.md 融進音色氣質選擇(角色氣質→音色);preferences.md 紅線過濾台詞。
  • 無 Profile:按 voice-casting.md 預設對照選音色。

規則

  1. 多人對話必須多聲線:每個說話人獨立音色、旁白/主講單列——絕不允許全程一個聲音(cast check + dub 聲線數把關)。
  2. 要像人就上雲 provider:edge 只配草稿;成品/關鍵角色用 engine=clone+provider(有真情緒通道),無需 GPU。
  3. 音色貼人物:按 voice-casting.md 的原型對照 + 同性別用 pitch/rate 區分。
  4. 情緒標註要具體:lines 每行標 emotion(憤怒/崩潰大哭/冷笑/溫柔…),會餵進 provider 情感通道驅動演繹。
  5. 確定性留檔:cast.json / lines.json 落檔案,改台詞/換音色重跑 dub 即可,不必重來。

參考來源

見 EASEL-META.md。多聲線配音(cast + 逐行 lines + 按角色音色逐行合成 + ffmpeg 拼接 + 說話人字幕)為 Easel 自研; 底層封裝 edge-tts(tts.py)與雲端克隆(voice_clone.py)。

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

AI 视频生成:文生视频 / 图生视频 / 数字人首帧驱动。通过可插拔 provider(通义万相 Wan / 火山 Seedance / 快手可灵 / OpenAI 兼容)异步生成视频,用户自备 API key。当用户说 AI 视频生成、文生视频、图生视频、AI 生成视频、AI 短视频、让图片动起来、数字人视频、生成一段视频 时使用。与 video-strategy(选型/策略)、video-editing(剪辑处理)、clipify(切片)区别:本 SKILL 是从 0 用 AI 生成新视频。

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

相關技能