Communitygithub.com

本地配音工作坊

在本地對影片進行配音,翻譯並重新配音,同時保留原有音樂和音效,無需付費服務。使用 faster-whisper 本地轉錄(或讀取 SRT/VTT),讓您逐行翻譯成 JSON 並設定每行時間預算,使用 Demucs 移除原始人聲(或有備用方案),透過內建 Kokoro 合成語音為每行配音,透過調整速度來符合時間槽(加速、停頓,否則標記),以設定的響度(預設 -16 LUFS)混音並輸出 MP4、雙語 SRT/VTT、時間報告和試算表。

本地配音工作坊 是什麼?

此技能提供一個完整的本地端影片配音管道,用於將影片配音、翻譯、重新配音或本地化為西班牙語、法語、義大利語、巴西葡萄牙語、印地語或英語。它使用 faster-whisper 進行語音辨識(或接受用戶提供的 SRT/VTT 字幕)、Demucs 進行人聲分離、Kokoro 進行文字轉語音,並自動將翻譯後的行數調整到原始時間槽內,同時保留背景音樂和音效。使用者先以 JSON 格式提供逐行翻譯,每行有字元預算,然後此技能會處理分離、配音、時間調整、混音、響度正規化(目標 LUFS)、最終 MP4 輸出以及雙語字幕檔。它會在翻譯過長時發出標記(FLAG),並產生報告和圖表來視覺化時間校準。它明確禁止未經授權使用真實人物的聲音、聲音克隆,或配音使用者無權使用的影片。系統會檢查語言支援(例如,日語和馬來語因 Kokoro 限制而不受支援),並維護一個編號的 SKILL.md 文件,其中包含有關正確工作流程、檔案結構和故障排除的詳細指引。可用於 Claude Code、Codex 或 Cursor 等 AI 代理平台,這些平台可以執行 shell 命令來協調 Python 和二進位工具。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/VinVirtual/dub-studio/tree/HEAD

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

本地配音工作坊 是做什麼的?

管道:影片 -> 音訊 -> faster-whisper(或使用者的字幕)-> 計時原始行 -> 您的翻譯(JSON,每行一個,在時間預算內)-> Demucs 移除人聲 -> Kokoro 為每行翻譯配音 -> 時間適配(atempo、停頓、標記)-> 與背景混合 -> 響度 -> MP4 + 字幕 + 報告。

技能資料夾(以下寫作 $D):此資料夾。每個指令都是 $D/dub <command> ...;$D/dub help 列出它們。

規則(請先閱讀)

  • 權利。 --rights 是使用者自己的聲明;工具會記錄它但無法檢查。僅對使用者製作或擁有的影片(--rights own)、擁有書面許可或授權進行配音的影片(licensed)、或其中語音已是使用者可替換的合成語音(synthetic)進行配音。如果不清楚,請詢問。如果影片中出現或配音一個未經同意的真人,請勿配音。絕不要讓任何人看起來說了他們沒說過的話。
  • 禁止複製。 新語音始終是 Kokoro 內建語音之一,透過名稱選擇。切勿試圖模仿原始說話者或任何真人,也絕不要傳遞錄音作為語音(工具會拒絕)。
  • 標示它。 輸出 MP4 的中繼資料、VTT 檔案和 out/<lang>/README.md 會標明配音使用合成語音。當您傳遞檔案時保留該標籤,並告訴使用者在發布時保留它。
  • 翻譯品質。 您負責撰寫翻譯。請說明這是機器翻譯,並建議在發布前由流利使用者檢查。

語言

執行 $D/dub languages 取得即時列表。在此機器上測量(Kokoro v1.0 透過 kokoro-onnx,espeak-ng 音素),透過語音辨識回讀語音進行檢查:

代碼語言狀態
en-us, en-gb英語支援
es西班牙語支援
fr-fr法語支援
it義大利語支援
pt-br巴西葡萄牙語支援
hi印地語尚可:可理解,部分詞語錯誤
cmn華語實驗性:回讀時大部分無法理解;未使用 --experimental 則拒絕
ja日語無法運作 在 kokoro-onnx 中(漢字被讀作「Chinese letter」)
ms馬來語不支援:Kokoro 沒有馬來語語音

任何其他語言(德語、韓語、印尼語、阿拉伯語...)皆不支援:請明確說明,且不要替換為其他語言的語音。任何 faster-whisper 能辨識的語言都可以作為來源。

工作流程

  1. $D/dub check。修正任何 MISS 行(check_env.sh 會印出指令)。Demucs 為選用;沒有它時背景會使用備用方案(見下文)。
  2. 與使用者確認權利和目標語言。
  3. $D/dub prepare <video> --out <project> --to es,fr-fr --rights own [--from en]
    • 當使用者有正確的腳本或字幕時,加上 --srt subs.srt(或 .vtt)和 --from <lang>:它會跳過語音辨識並使用那些提示時間作為行。
    • 輸入必須有視訊串流和音軌。--from 必須是純語言代碼(en,pt-BR)。
    • 在同一資料夾上再次執行 prepare 會被拒絕,因為 source.json 可能包含修正。--force 會取代 source.json 並重新開始翻譯檔案。
    • 若未指定,faster-whisper small 會在 CPU 上執行(--model base 更快,medium 更準確)。閱讀 source.json 並修正其中任何聽錯的詞語後再進行翻譯(保留 ID 和時間)。
    • --voice es=em_alex 選擇語音;--max-tempo 1.2 降低加速上限;--target -23 設定廣播響度。
  4. 翻譯。 開啟每個 translations/<lang>.json。對於每一行,在 text 中撰寫 source 的翻譯:
    • 一行進,一行出:絕不合併、分割、重新排序或刪除行,絕不更改 id。
    • 保持在 budget.ideal 字元數內(以正常速度適合)。budget.max 是硬性限制(以最高速度說出)。較短比更快好:刪除填充詞,使用最短的自然措辭。
    • 翻譯意思,而非字詞。口語化、自然的語氣。保留名稱、產品名稱和數字。不要添加事實。
    • 僅純文字:無括號、舞台指示、標記或表情符號。
  5. $D/dub lint <project>:修正每個 ERROR(太長、空白、遺失)。閱讀 WARNings(長行會借用之後的停頓;遺失的數字;未翻譯的行)並在可能的地方縮短。
  6. $D/dub build <project> [--separation ...]:背景、語音、時間適配、混音、響度、封裝。印出每個語言的 MP4、響度以及有多少行被加速、位移或標記。FLAG 行表示翻譯即使使用停頓也太長:縮短它並重新建置(語音被快取,僅變更的行會重新配音)。被推遲的行報告為 delayed,而非標記:修正被標記的行,而非它們。
  7. 檢視它。 閱讀 out/<lang>/sheet.png:配音語音行應位於原始行槽內;藍色(位移)可以,紅色(溢出)和紫色(延遲)不行。閱讀 out/<lang>/report.md。
  8. $D/dub verify <project> --asr:檢查長度、響度(使用 ffmpeg 的 ebur128 測量:在目標的 0.5 LU 內,真實峰值最多超過頂點 0.5 dB,因為 AAC 編碼可能會增加一點)、標記以及 MP4 中的合成語音標籤,並透過語音辨識回讀配音。您無法聽到結果:此回讀分數是您檢查語音是否說出正確詞語的方式。列出低於 60% 的行;檢查它們。
  9. 移交:MP4 檔案、字幕檔案和報告路徑、測量的響度、回讀分數以及標籤句子。

什麼東西放在哪裡

  • dub.json:設定和權利聲明。fit.maxTempo(1.25)、fit.gap(行之間 0.12 秒)、fit.maxEarly(一行可提前開始 0.3 秒)、loudness.target(-16 LUFS)和 ceiling(-1.5 dBTP)、mix.background / mix.voice(dB)、mix.duck(dB,用於 duck 備用方案)、keepOriginal(true 保留原始音訊作為第二個非預設軌道)、separation。
  • source.json:計時的原始行。translations/<lang>.json:您的翻譯。
  • out/<lang>/:<name>.<lang>.mp4、<name>.<lang>.srt|vtt(僅配音)、<name>.<lang>+<src>.srt|vtt(雙語)、report.md|json、sheet.png、README.md。
  • work/:快取(提取的音訊、背景、配音行),鍵控至確切的來源檔案、背景方法和 duck 電平。可安全刪除;verify --asr 隨後需要再次執行 dub build,因為它會讀取 work/<lang>/voice.wav。

背景(音樂和效果)

separation 在 dub.json 或 --separation 中:

  • demucs(安裝時的預設值):在 CPU 上的 htdemucs,此處 20 秒片段約需 15 到 25 秒。最佳結果。權重從固定的 Hugging Face 修訂版下載為 safetensors,並根據固定的 SHA-256 值檢查;從不使用 demucs 的 pickle 備用方案。
  • center:移除聲場中間的聲音(通常是人聲)。僅適用於真正的立體聲;它也會移除置中的低音和單聲道樂器。
  • duck:保留原始音訊並在原始人聲說話時將其調低(mix.duck,-18 dB)。原始人聲仍隱約可聞:告訴使用者。
  • none:僅語音。 auto 選擇 demucs,否則選擇 center(具有真實側邊內容的立體聲),否則選擇 duck,報告會說明使用了哪一種。

疑難排解

  • 「太長」錯誤:縮短行;不要將 maxTempo 提高到大約 1.3 以上,聽起來會很急促。
  • 行延遲位移(報告中 shift s 增加):較早的行溢出;縮短它。
  • source.json 中聽錯的詞語:直接在那裡編輯文字(保留 ID 和時間),不要重新執行 prepare(它會拒絕,而 --force 會取代您的編輯和翻譯)。dub lint 隨後會警告每個其 source 不再相符的翻譯:更新那些翻譯。
  • 影片在來源語言中包含燒錄的文字或字幕:它們會保留。請說明;配音僅取代聲音。
  • 螢幕上的嘴型不會匹配:這是配音風格的配音,而非唇形同步。
  • dub prepare 拒絕:閱讀訊息(權利、語言、遺失音訊、錯誤字幕)並修正它;不要繞過權利檢查。

相關技能