Communitygithub.com

YouTube 音軌翻譯:依原片秒數配音

把影片中的人聲配成另一種語言,同時保留原本的音樂,每句都落在原片同一秒,音軌長度精準對齊影片,可直接作為 YouTube 多語音軌。

YouTube 音軌翻譯:依原片秒數配音 是什麼?

影片在地化配方第 3 步(配音並交付),來自 oknehcvark/youtube-audio-translation(2026-10-06 發布)。除 edge-tts 語音外全部免費在本機執行。scripts/dub.py 先分離人聲與音樂,用 faster-whisper 轉出帶時間的句子,逐句給出字數預算,由 agent 讓每句譯文剛好放進時長。build 把每句唸出並放回原本的開始時間,mix 依影片檔的精確長度與音樂混音(長度不符 YouTube 會拒收),check 再辨識一次配音給出錯誤率。同時提供同時間軸的 SRT,回報哪些句子被加速,並坦白說明還沒有人實際聽過。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/oknehcvark/youtube-audio-translation/tree/HEAD/skills/youtube-audio-translation

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

YouTube 音訊翻譯

將一部影片轉換為多種語言的額外音軌。除了語音(edge-tts 使用微軟的線上語音)以外,一切都是免費且本機執行的。引擎是本技能資料夾中的 scripts/dub.py。

流程:分離人聲與音樂 -> 轉錄人聲為帶時間戳的短語 -> 你翻譯每個短語以符合其時間限制 -> 建構(朗讀每個短語並放置在原始秒數上)-> 混合音樂,長度與影片完全一致 -> 檢查。

規則(每條違規都會導致一次失敗)

  1. 結果的長度必須等於 VIDEO 檔案的長度(--ref video.mp4)。切勿從原始 .aac 取得長度:ffprobe 僅根據位元率估算持續時間,可能會有 15 秒的誤差。YouTube 會拒絕與影片長度不符的音軌(「音軌和影片必須長度相同」)。
  2. 你必須翻譯,不要使用自動翻譯器。 自動翻譯器不會考慮短語有多少秒的時間。先執行 budget,然後將每一行寫在其字元預算內。超過預算,語音會加速且聽起來倉促;低於時間段 80%,工具會稍微減慢語音。
  3. 在翻譯前修正辨識錯誤。 名稱和術語容易被誤聽(例如名為「Klap」的服務被聽成「Clip」和「Клэп」;「экспорт」被聽成「эксперт」)。完整閱讀 source.srt,就地修正,並告知使用者你的猜測。
  4. 短語放置在原始開始秒數上,絕不一個接一個粘合。 工具已經做到這一點;請勿以後處理音訊的方式移動短語。
  5. 你無法聽到音訊。 透過 check 和數字驗證,並明確表示沒有人聽過。請使用者(理想上是母語人士)聆聽。永遠不要寫「聽起來自然」。
  6. 安裝任何東西前先詢問。 切勿覆寫或刪除使用者的檔案;在單獨的資料夾中工作(例如影片旁邊的 work/)。

1. 檢查設定(一次)

python3 --version                       # 3.10 或更新
ffmpeg -version | head -1               # 4.4 或更新
python3 -c "import numpy, soundfile, edge_tts, faster_whisper, pyrubberband; print('ok')"
audio-separator --version               # 僅用於分離步驟
rubberband --version                    # 可選:更好的加速(否則使用 ffmpeg atempo)

缺少的部分:

  • Python 套件:pip3 install -r requirements.txt
  • ffmpeg:brew install ffmpeg(macOS)/ winget install ffmpeg(Windows)/ apt install ffmpeg(Linux)
  • rubberband(可選):brew install rubberband / apt install rubberband-cli
  • 分離器(很大,單獨安裝):pip3 install "audio-separator[cpu]"。如果 import scipy 在 macOS 上崩潰(dlopen 錯誤),執行 pip3 install scipy==1.14.1 可解決。

第一次 transcribe 會下載約 1.5 GB 的語音模型;第一次 separate 會下載約 70 MB 的模型。告知使用者,並確保有數 GB 的可用磁碟空間。

2. 分離人聲與音樂

python3 scripts/dub.py separate "/path/video.mp4" -o work

會產生 work/vocals.wav 和 work/music.wav。如果影片沒有音樂,跳過此步驟並與靜音混合(使用 --music 搭配任何靜音檔案)——或者直接建構並交付 dub_only.wav。

3. 轉錄

python3 scripts/dub.py transcribe work/vocals.wav --lang ru -o work/source.srt

--lang 是原始語音的語言。完整閱讀 work/source.srt 並就地修正錯誤(保留時間戳)。短語長度約為 2-7 秒。

4. 翻譯

python3 scripts/dub.py budget work/source.srt --lang fr

它會印出每個短語可用的秒數和最大字元數(法語和英語約 15 字元/秒,西班牙語 14,印度語和德語 13,中文 5 字元/秒)。你自己以 JSON 字串列表的形式撰寫翻譯,順序相同,每個短語一條,例如 work/lines.fr.json:

["First phrase translated.", "Second phrase translated.", "..."]

翻譯意思,而非逐字翻譯;可自由縮短(刪除填充詞、重複詞);品牌名稱保持原樣。對於印度語,將外國品牌名稱寫成天城文,以便語音正確發音。數字保持數字。保持一致的稱呼形式(「vous」、「ustedes」等)。如果句子跨越邊界,短語可以在相鄰行之間重新分割。

python3 scripts/dub.py srt work/source.srt work/lines.fr.json -o work/fr.srt

fr.srt 也是相同語言的字幕檔案(原始時間戳)——提供給使用者。

5. 建構、混合、檢查

選擇一個語音:edge-tts --list-voices | grep fr-(範例:fr-FR-HenriNeural、es-MX-JorgeNeural、hi-IN-MadhurNeural、zh-CN-YunxiNeural、en-US-GuyNeural、de-DE-ConradNeural)。

python3 scripts/dub.py build work/fr.srt --ref "/path/video.mp4" --voice fr-FR-HenriNeural -o work/fr --loudness-ref work/vocals.wav

閱讀摘要。如果列出需要超過 1.25 倍速度或會溢出到下一個短語的短語,則在 lines.fr.json 中縮短那些行,重建 fr.srt 並再次執行 build:只有改變的短語會重新朗讀。

python3 scripts/dub.py mix work/fr/dub_only.wav --music work/music.wav --ref "/path/video.mp4" -o work/fr/final
python3 scripts/dub.py check work/fr/dub_only.wav work/fr.srt --lang fr --ref "/path/video.mp4"

mix 會寫入 final.wav 和 final.m4a,並印出它們的長度與影片的長度進行比較;兩者必須在百分之幾秒內一致。check 使用語音辨識器重新讀取配音(錯誤率:幾個百分比到約 15% 是正常的;數字、品牌名稱和拼寫變體視為錯誤;中文以字元計分)。

對每種語言重複步驟 4-5;步驟 2-3 只需執行一次。

6. 向使用者報告

針對每種語言,告知使用者:檔案(final.m4a、<lang>.srt)、使用的語音、長度與影片的比較、錯誤率、有多少短語被加速以及最大加速多少。說明你無法檢查的部分:音訊本身,以及如果你無法很好地判斷該語言的翻譯。列出你在修正辨識錯誤時所做的猜測。

上傳到 YouTube 由使用者決定:YouTube Studio -> 字幕 -> 新增語言 -> 新增音軌(以及該語言的 .srt 字幕)。不要以使用者名義上傳任何內容。

如果出現問題

  • TTS failed for phrase N / retry:網路中斷;再次執行 build,已完成的短語會保留。
  • 短語無聲:其文字為空;檢查 JSON 中的該行。
  • 語音聽起來倉促:該行超過其預算;縮短它。
  • YouTube 顯示長度不同:對影片和 final.m4a 執行 ffprobe 並比較;使用 VIDEO 作為 --ref 重建。.m4a 長度會四捨五入到 AAC 幀(約 0.02 秒)。
  • Windows/Linux:作者未測試;程式碼是跨平台的,但請誠實報告問題。

相關技能