Communitygithub.com

配音:逐字旁白,用聲音替動畫定節拍

依定稿腳本產生旁白、音效與配樂底,使用工作室設定的聲音(ElevenLabs、本機 Qwen3-TTS 或你自己的錄音):每條都檢查,輸出一條人聲軌與一張動畫依循的逐字時間表。

配音:逐字旁白,用聲音替動畫定節拍 是什麼?

發表影片配方第 2 步(配音+定時),來自 GTKottman/mortiflix-oss——在你自己電腦上運作的動態設計工作室(2026-10-05 發布)。定稿腳本逐字唸出,旁白就是整支片的時鐘。vo.mjs check 回報目前引擎(ElevenLabs、透過 ComfyUI 在本機 GPU 執行的 Qwen3-TTS、本人聲音或無旁白),speak 逐條產生並自動重錄漏字的句子,build 輸出 voice/voice.wav 與 voice/timing.json,讓剪接點落在字上。不會改用機器人系統音,ElevenLabs 免費方案會提醒標示來源。

相容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/GTKottman/mortiflix-oss/tree/HEAD/pipelines/_shared/skills/voiceover

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

旁白

核准的腳本需逐字唸出,且旁白是動畫時間對齊的基準時鐘。

VO=.claude/skills/voiceover/vo.mjs
node $VO check                                   # 檢查使用的引擎、聲音與模型;額度;此引擎的規則
node $VO speak voice/lines.json                  # 每句台詞,經過檢查,若漏字則重新錄製
node $VO speak voice/lines.json --only b03-1     # 僅重新處理你修正的那些台詞
node $VO build voice/lines.json                  # 產生 voice/voice.wav + voice/timing.json

0. 使用哪種聲音?

node $VO check 會顯示擁有者在設定中配置的內容(你無法選擇引擎或聲音):

  • elevenlabs:已選擇聲音、模型與設定;金鑰在你的環境中(切勿列印)。 check 會顯示計畫與額度。使用免費方案時,音訊僅限非商業用途,且必須標註來源為 ElevenLabs: 請在你的提交備註中說明。
  • qwen:透過 ComfyUI 使用此機器 GPU 上的 Qwen3-TTS(免費、本機)。如果 check 顯示 ComfyUI 或套件 尚未就緒,那是一個 mfx needs-you 的任務。
  • none:無旁白。如果需求要求旁白,請在下一個檢查點詢問是要僅使用螢幕文字(預設), 還是等待擁有者設定好聲音。切勿使用機械化的系統語音。
  • own:擁有者用自己的聲音錄製。請按照下方範例撰寫 voice/lines.json(台詞簡短;在開頭加上 交付指示的 [標籤],擁有者會將其視為導演指示;跳過 IPA 和 v4 技巧,真人會閱讀 script)。接著執行 node $VO speak voice/lines.json,它會列出尚未錄製的台詞,並印出 mfx needs-you 文字,引導擁有者前往 錄音室(網路工作室、mortiflix record 或匯入檔案)。將此訊息送出並停止處理。當他們恢復時,speak 會通過, build 會製作每句台詞計時的音軌。如果你在台詞錄製後修改了它,speak 會要求重新錄製該句。
  • 擁有者自己的錄音檔放在 input/ 中(一個長檔案,任何引擎皆可):直接使用它(將其剪輯成台詞片段,然後執行 build)。

請勿自行更換聲音或模型:這是擁有者的選擇。若清楚知道某個改變會更好,請在交接時提出建議。

1. 撰寫 voice/lines.json

每個句子或換氣群組一個條目(長度約在 600 字元以下;簡短的台詞重新錄製成本較低):

[
  { "id": "b01-1", "text": "[溫暖、從容] 每座城市都有自己的心跳。", "script": "每座城市都有自己的心跳。", "gap_after": 0.5 },
  { "id": "b01-2", "text": "我們的則隨著「腳踏車」轉動。", "script": "我們的則隨著腳踏車轉動。" }
]
  • text 是語音實際讀出的內容;script 是相同詞語的正常拼寫(當 text 包含標籤或 IPA 時需要: 檢查時會與此比對)。gap_after 是台詞後的停頓時間(預設 0.4 秒;節拍之間可更長)。
  • Id 遵循腳本的節拍(b01-1),使用字母、數字與連字號。
  • 以實際唸法書寫數字、日期與金錢(例如「二零二六年」、「四點五百分比」)。

指導 ElevenLabs Eleven v4(eleven_v4,預設)

  • 方括號中的音訊標籤用於引導語氣:[溫暖]、[平穩、好奇]、[低語]、[嘆氣]、[興奮]、[快速、輕快的節奏]。 放在台詞開頭一個;只有在情緒真正轉變時才使用第二個。
  • 描述聲音,而非音效。 v4 也能產出音效,所以 [雨聲] 或 [掌聲] 可能會產生噪音。請寫 [輕柔、低聲的語調], 而非 [安靜的房間]。檢查時會標記任何非語音的雜音。
  • 標點符號與大寫: 省略號增加停頓與份量,全大寫增加強調。不要使用 SSML:v4 會忽略 <break> 與 <phoneme> (它們可能會被朗讀出來)。
  • 發音: 在引號內使用斜線標註 IPA,如 "/ˈkoʊmæl/",並在 script 中使用正常拼寫。
  • v4 僅有穩定度與相似度(在設定中設定);沒有風格或速度:透過標籤與標點符號來引導節奏。
  • 每句台詞會連同前後文一起發送,使朗讀連貫流暢。

其他 ElevenLabs 模型(如果擁有者選擇了):eleven_multilingual_v2 有風格與速度設定,並接受 <break time="1.0s" /> 停頓(最長 3 秒);eleven_flash_v2 接受 <phoneme> 標籤。請勿在其上使用 v4 風格的標籤。

指導 Qwen3-TTS(本機)

  • 表現來自擁有者設定的指示(1.7B 模型);台詞以純文字朗讀。標籤與 IPA 在朗讀前會被移除(存在 script 時會讀取 script), 因此請在 script 中以聽起來的發音拼寫困難的名稱。
  • 支援 10 種語言(英文、中文、日文、韓文、德文、法文、俄文、葡萄牙文、西班牙文、義大利文)。

2. 朗讀與檢查

speak 會生成每句台詞,透過語音轉文字(ElevenLabs Scribe v2,或本機 Qwen3-ASR)進行聆聽檢查, 當至少 92% 的字詞與腳本相符,且無連續 3 個字詞遺漏或添加、無無關雜音時,則保留該錄音。失敗的台詞會以新的種子重新錄製(最多 --max-takes 次,預設 3 次);無論如何都會保留最佳錄音。ElevenLabs 的台詞會同時執行數句(計畫限制減一);本機台詞則先全部朗讀,再全部聆聽,因為兩個模型會輪流使用 GPU。

  • 結果:voice/clips/<id>.(mp3|wav) + <id>.json(引擎、錄製次數、種子、轉錄文字、字詞時間戳), 所有錄製次數儲存在 voice/takes/,以及 voice/speak-report.json。
  • 持續失敗的台詞:修正輸入,不要重新嘗試。 將長句拆分、拼出數字、加入 IPA(ElevenLabs)或發音輔助拼寫(本機), 然後使用 speak --only 重新處理。
  • 在錄製所有台詞前,先聆聽前兩句:檢查節奏、發音、語調。檢查功能會捕捉漏字,但無法判斷品味。

3. 建置

build 會將剪輯片段依其間隔合併成 voice/voice.wav(48 kHz 單聲道),並寫入 voice/timing.json: 每個片段的開始與結束時間,以及當檢查有測量時每個字詞的開始與結束時間("timing": "words"),否則僅有片段時間。 將你要用於動畫的時間轉換為影格(Math.round(seconds * fps))放在 video/src/timing.ts, 並將 voice.wav 複製到 video/public/。切勿在字詞中間進行剪輯:僅在靜音處剪輯。

4. 音效與音樂(ElevenLabs,當啟用時)

node .claude/skills/voiceover/sound.mjs sfx "輕柔玻璃般的呼嘯聲,從左到右" --seconds 1.2 --out sfx/whoosh.mp3
node .claude/skills/voiceover/sound.mjs sfx "低沉的都市環境音,遠處車流" --seconds 20 --loop --out sfx/city.mp3
node .claude/skills/voiceover/sound.mjs music "溫暖極簡合成背景音樂,90 bpm,充滿希望" --seconds 45 --out music/bed.mp3

音效:0.5–30 秒,--loop 用於無縫環境音,--influence 0–1(提示的遵循程度)。 音樂:純樂器,除非加上 --vocals,長度 3 秒至 10 分鐘。在 assets/SOURCES.md 中記錄每個提示。

5. 混音

旁白期間音樂音量約低於語音 18 dB;可在間隙中提升。最終混音:-14 LUFS,真實峰值 ≤ -1 dBTP(此為最終處理技能)。

6. 記錄

撰寫 voice/VOICE.md:引擎、聲音、模型、設定、使用的標籤、發音修正、拒絕的錄製與原因。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相關技能