YouTube 音訊翻譯
將一部影片轉換為多種語言的額外音軌。除了語音(edge-tts 使用微軟的線上語音)以外,一切都是免費且本機執行的。引擎是本技能資料夾中的 scripts/dub.py。
流程:分離人聲與音樂 -> 轉錄人聲為帶時間戳的短語 -> 你翻譯每個短語以符合其時間限制 -> 建構(朗讀每個短語並放置在原始秒數上)-> 混合音樂,長度與影片完全一致 -> 檢查。
規則(每條違規都會導致一次失敗)
- 結果的長度必須等於 VIDEO 檔案的長度(
--ref video.mp4)。切勿從原始.aac取得長度:ffprobe僅根據位元率估算持續時間,可能會有 15 秒的誤差。YouTube 會拒絕與影片長度不符的音軌(「音軌和影片必須長度相同」)。 - 你必須翻譯,不要使用自動翻譯器。 自動翻譯器不會考慮短語有多少秒的時間。先執行
budget,然後將每一行寫在其字元預算內。超過預算,語音會加速且聽起來倉促;低於時間段 80%,工具會稍微減慢語音。 - 在翻譯前修正辨識錯誤。 名稱和術語容易被誤聽(例如名為「Klap」的服務被聽成「Clip」和「Клэп」;「экспорт」被聽成「эксперт」)。完整閱讀
source.srt,就地修正,並告知使用者你的猜測。 - 短語放置在原始開始秒數上,絕不一個接一個粘合。 工具已經做到這一點;請勿以後處理音訊的方式移動短語。
- 你無法聽到音訊。 透過
check和數字驗證,並明確表示沒有人聽過。請使用者(理想上是母語人士)聆聽。永遠不要寫「聽起來自然」。 - 安裝任何東西前先詢問。 切勿覆寫或刪除使用者的檔案;在單獨的資料夾中工作(例如影片旁邊的
work/)。
1. 檢查設定(一次)
python3 --version # 3.10 或更新
ffmpeg -version | head -1 # 4.4 或更新
python3 -c "import numpy, soundfile, edge_tts, faster_whisper, pyrubberband; print('ok')"
audio-separator --version # 僅用於分離步驟
rubberband --version # 可選:更好的加速(否則使用 ffmpeg atempo)
缺少的部分:
- Python 套件:
pip3 install -r requirements.txt ffmpeg:brew install ffmpeg(macOS)/winget install ffmpeg(Windows)/apt install ffmpeg(Linux)rubberband(可選):brew install rubberband/apt install rubberband-cli- 分離器(很大,單獨安裝):
pip3 install "audio-separator[cpu]"。如果import scipy在 macOS 上崩潰(dlopen錯誤),執行pip3 install scipy==1.14.1可解決。
第一次 transcribe 會下載約 1.5 GB 的語音模型;第一次 separate 會下載約 70 MB 的模型。告知使用者,並確保有數 GB 的可用磁碟空間。
2. 分離人聲與音樂
python3 scripts/dub.py separate "/path/video.mp4" -o work
會產生 work/vocals.wav 和 work/music.wav。如果影片沒有音樂,跳過此步驟並與靜音混合(使用 --music 搭配任何靜音檔案)——或者直接建構並交付 dub_only.wav。
3. 轉錄
python3 scripts/dub.py transcribe work/vocals.wav --lang ru -o work/source.srt
--lang 是原始語音的語言。完整閱讀 work/source.srt 並就地修正錯誤(保留時間戳)。短語長度約為 2-7 秒。
4. 翻譯
python3 scripts/dub.py budget work/source.srt --lang fr
它會印出每個短語可用的秒數和最大字元數(法語和英語約 15 字元/秒,西班牙語 14,印度語和德語 13,中文 5 字元/秒)。你自己以 JSON 字串列表的形式撰寫翻譯,順序相同,每個短語一條,例如 work/lines.fr.json:
["First phrase translated.", "Second phrase translated.", "..."]
翻譯意思,而非逐字翻譯;可自由縮短(刪除填充詞、重複詞);品牌名稱保持原樣。對於印度語,將外國品牌名稱寫成天城文,以便語音正確發音。數字保持數字。保持一致的稱呼形式(「vous」、「ustedes」等)。如果句子跨越邊界,短語可以在相鄰行之間重新分割。
python3 scripts/dub.py srt work/source.srt work/lines.fr.json -o work/fr.srt
fr.srt 也是相同語言的字幕檔案(原始時間戳)——提供給使用者。
5. 建構、混合、檢查
選擇一個語音:edge-tts --list-voices | grep fr-(範例:fr-FR-HenriNeural、es-MX-JorgeNeural、hi-IN-MadhurNeural、zh-CN-YunxiNeural、en-US-GuyNeural、de-DE-ConradNeural)。
python3 scripts/dub.py build work/fr.srt --ref "/path/video.mp4" --voice fr-FR-HenriNeural -o work/fr --loudness-ref work/vocals.wav
閱讀摘要。如果列出需要超過 1.25 倍速度或會溢出到下一個短語的短語,則在 lines.fr.json 中縮短那些行,重建 fr.srt 並再次執行 build:只有改變的短語會重新朗讀。
python3 scripts/dub.py mix work/fr/dub_only.wav --music work/music.wav --ref "/path/video.mp4" -o work/fr/final
python3 scripts/dub.py check work/fr/dub_only.wav work/fr.srt --lang fr --ref "/path/video.mp4"
mix 會寫入 final.wav 和 final.m4a,並印出它們的長度與影片的長度進行比較;兩者必須在百分之幾秒內一致。check 使用語音辨識器重新讀取配音(錯誤率:幾個百分比到約 15% 是正常的;數字、品牌名稱和拼寫變體視為錯誤;中文以字元計分)。
對每種語言重複步驟 4-5;步驟 2-3 只需執行一次。
6. 向使用者報告
針對每種語言,告知使用者:檔案(final.m4a、<lang>.srt)、使用的語音、長度與影片的比較、錯誤率、有多少短語被加速以及最大加速多少。說明你無法檢查的部分:音訊本身,以及如果你無法很好地判斷該語言的翻譯。列出你在修正辨識錯誤時所做的猜測。
上傳到 YouTube 由使用者決定:YouTube Studio -> 字幕 -> 新增語言 -> 新增音軌(以及該語言的 .srt 字幕)。不要以使用者名義上傳任何內容。
如果出現問題
TTS failed for phrase N/retry:網路中斷;再次執行build,已完成的短語會保留。- 短語無聲:其文字為空;檢查 JSON 中的該行。
- 語音聽起來倉促:該行超過其預算;縮短它。
- YouTube 顯示長度不同:對影片和
final.m4a執行ffprobe並比較;使用 VIDEO 作為--ref重建。.m4a長度會四捨五入到 AAC 幀(約 0.02 秒)。 - Windows/Linux:作者未測試;程式碼是跨平台的,但請誠實報告問題。