本地配音工作坊 是做什麼的?
管道:影片 -> 音訊 -> faster-whisper(或使用者的字幕)-> 計時原始行 -> 您的翻譯(JSON,每行一個,在時間預算內)-> Demucs 移除人聲 -> Kokoro 為每行翻譯配音 -> 時間適配(atempo、停頓、標記)-> 與背景混合 -> 響度 -> MP4 + 字幕 + 報告。
技能資料夾(以下寫作 $D):此資料夾。每個指令都是 $D/dub <command> ...;$D/dub help 列出它們。
規則(請先閱讀)
- 權利。
--rights是使用者自己的聲明;工具會記錄它但無法檢查。僅對使用者製作或擁有的影片(--rights own)、擁有書面許可或授權進行配音的影片(licensed)、或其中語音已是使用者可替換的合成語音(synthetic)進行配音。如果不清楚,請詢問。如果影片中出現或配音一個未經同意的真人,請勿配音。絕不要讓任何人看起來說了他們沒說過的話。 - 禁止複製。 新語音始終是 Kokoro 內建語音之一,透過名稱選擇。切勿試圖模仿原始說話者或任何真人,也絕不要傳遞錄音作為語音(工具會拒絕)。
- 標示它。 輸出 MP4 的中繼資料、VTT 檔案和
out/<lang>/README.md會標明配音使用合成語音。當您傳遞檔案時保留該標籤,並告訴使用者在發布時保留它。 - 翻譯品質。 您負責撰寫翻譯。請說明這是機器翻譯,並建議在發布前由流利使用者檢查。
語言
執行 $D/dub languages 取得即時列表。在此機器上測量(Kokoro v1.0 透過 kokoro-onnx,espeak-ng 音素),透過語音辨識回讀語音進行檢查:
| 代碼 | 語言 | 狀態 |
|---|---|---|
en-us, en-gb | 英語 | 支援 |
es | 西班牙語 | 支援 |
fr-fr | 法語 | 支援 |
it | 義大利語 | 支援 |
pt-br | 巴西葡萄牙語 | 支援 |
hi | 印地語 | 尚可:可理解,部分詞語錯誤 |
cmn | 華語 | 實驗性:回讀時大部分無法理解;未使用 --experimental 則拒絕 |
ja | 日語 | 無法運作 在 kokoro-onnx 中(漢字被讀作「Chinese letter」) |
ms | 馬來語 | 不支援:Kokoro 沒有馬來語語音 |
任何其他語言(德語、韓語、印尼語、阿拉伯語...)皆不支援:請明確說明,且不要替換為其他語言的語音。任何 faster-whisper 能辨識的語言都可以作為來源。
工作流程
$D/dub check。修正任何 MISS 行(check_env.sh會印出指令)。Demucs 為選用;沒有它時背景會使用備用方案(見下文)。- 與使用者確認權利和目標語言。
$D/dub prepare <video> --out <project> --to es,fr-fr --rights own [--from en]- 當使用者有正確的腳本或字幕時,加上
--srt subs.srt(或.vtt)和--from <lang>:它會跳過語音辨識並使用那些提示時間作為行。 - 輸入必須有視訊串流和音軌。
--from必須是純語言代碼(en,pt-BR)。 - 在同一資料夾上再次執行
prepare會被拒絕,因為source.json可能包含修正。--force會取代source.json並重新開始翻譯檔案。 - 若未指定,faster-whisper
small會在 CPU 上執行(--model base更快,medium更準確)。閱讀source.json並修正其中任何聽錯的詞語後再進行翻譯(保留 ID 和時間)。 --voice es=em_alex選擇語音;--max-tempo 1.2降低加速上限;--target -23設定廣播響度。
- 當使用者有正確的腳本或字幕時,加上
- 翻譯。 開啟每個
translations/<lang>.json。對於每一行,在text中撰寫source的翻譯:- 一行進,一行出:絕不合併、分割、重新排序或刪除行,絕不更改
id。 - 保持在
budget.ideal字元數內(以正常速度適合)。budget.max是硬性限制(以最高速度說出)。較短比更快好:刪除填充詞,使用最短的自然措辭。 - 翻譯意思,而非字詞。口語化、自然的語氣。保留名稱、產品名稱和數字。不要添加事實。
- 僅純文字:無括號、舞台指示、標記或表情符號。
- 一行進,一行出:絕不合併、分割、重新排序或刪除行,絕不更改
$D/dub lint <project>:修正每個 ERROR(太長、空白、遺失)。閱讀 WARNings(長行會借用之後的停頓;遺失的數字;未翻譯的行)並在可能的地方縮短。$D/dub build <project> [--separation ...]:背景、語音、時間適配、混音、響度、封裝。印出每個語言的 MP4、響度以及有多少行被加速、位移或標記。FLAG行表示翻譯即使使用停頓也太長:縮短它並重新建置(語音被快取,僅變更的行會重新配音)。被推遲的行報告為delayed,而非標記:修正被標記的行,而非它們。- 檢視它。 閱讀
out/<lang>/sheet.png:配音語音行應位於原始行槽內;藍色(位移)可以,紅色(溢出)和紫色(延遲)不行。閱讀out/<lang>/report.md。 $D/dub verify <project> --asr:檢查長度、響度(使用 ffmpeg 的 ebur128 測量:在目標的 0.5 LU 內,真實峰值最多超過頂點 0.5 dB,因為 AAC 編碼可能會增加一點)、標記以及 MP4 中的合成語音標籤,並透過語音辨識回讀配音。您無法聽到結果:此回讀分數是您檢查語音是否說出正確詞語的方式。列出低於 60% 的行;檢查它們。- 移交:MP4 檔案、字幕檔案和報告路徑、測量的響度、回讀分數以及標籤句子。
什麼東西放在哪裡
dub.json:設定和權利聲明。fit.maxTempo(1.25)、fit.gap(行之間 0.12 秒)、fit.maxEarly(一行可提前開始 0.3 秒)、loudness.target(-16 LUFS)和ceiling(-1.5 dBTP)、mix.background/mix.voice(dB)、mix.duck(dB,用於 duck 備用方案)、keepOriginal(true 保留原始音訊作為第二個非預設軌道)、separation。source.json:計時的原始行。translations/<lang>.json:您的翻譯。out/<lang>/:<name>.<lang>.mp4、<name>.<lang>.srt|vtt(僅配音)、<name>.<lang>+<src>.srt|vtt(雙語)、report.md|json、sheet.png、README.md。work/:快取(提取的音訊、背景、配音行),鍵控至確切的來源檔案、背景方法和 duck 電平。可安全刪除;verify --asr隨後需要再次執行dub build,因為它會讀取work/<lang>/voice.wav。
背景(音樂和效果)
separation 在 dub.json 或 --separation 中:
demucs(安裝時的預設值):在 CPU 上的 htdemucs,此處 20 秒片段約需 15 到 25 秒。最佳結果。權重從固定的 Hugging Face 修訂版下載為 safetensors,並根據固定的 SHA-256 值檢查;從不使用 demucs 的 pickle 備用方案。center:移除聲場中間的聲音(通常是人聲)。僅適用於真正的立體聲;它也會移除置中的低音和單聲道樂器。duck:保留原始音訊並在原始人聲說話時將其調低(mix.duck,-18 dB)。原始人聲仍隱約可聞:告訴使用者。none:僅語音。auto選擇 demucs,否則選擇 center(具有真實側邊內容的立體聲),否則選擇 duck,報告會說明使用了哪一種。
疑難排解
- 「太長」錯誤:縮短行;不要將
maxTempo提高到大約 1.3 以上,聽起來會很急促。 - 行延遲位移(報告中
shift s增加):較早的行溢出;縮短它。 source.json中聽錯的詞語:直接在那裡編輯文字(保留 ID 和時間),不要重新執行prepare(它會拒絕,而--force會取代您的編輯和翻譯)。dub lint隨後會警告每個其source不再相符的翻譯:更新那些翻譯。- 影片在來源語言中包含燒錄的文字或字幕:它們會保留。請說明;配音僅取代聲音。
- 螢幕上的嘴型不會匹配:這是配音風格的配音,而非唇形同步。
dub prepare拒絕:閱讀訊息(權利、語言、遺失音訊、錯誤字幕)並修正它;不要繞過權利檢查。