YouTube 音频翻译
将一个视频转换为其他语言的额外音轨。除语音(edge-tts 使用微软的在线语音)外,所有内容均免费且本地运行。引擎是该技能文件夹中的 scripts/dub.py。
流程:分离人声和音乐 -> 转写人声为带时间戳的短语 -> 您自行翻译每个短语以匹配其时间 -> 构建(朗读每个短语并将其放在原始视频对应的时间点上)-> 混合音乐至视频精确长度 -> 检查。
规则(违反任一条都会导致尝试失败)
- 结果长度必须等于视频文件长度(
--ref video.mp4)。切勿从原始.aac文件中获取长度:ffprobe仅通过比特率估算其时长,可能偏差高达 15 秒。YouTube 会拒绝与视频不匹配的音轨(“音频轨与视频必须具有相同长度”)。 - 您自行翻译,不要使用自动翻译工具。 自动翻译器无法考虑每个短语的可用秒数。先运行
budget,确保每行翻译都在字符预算内。超出预算会导致语速加快,听起来急促;低于预算的 80% 则工具会稍微减慢语速。 - 翻译前修正识别错误。 姓名和术语容易被误识别(例如服务“Klap”被听成“Clip”和“Клэп”;“экспорт”被听成“эксперт”)。阅读完整的
source.srt,就地修正,并告知用户您的猜测。 - 短语放置在其原始开始秒数上,切勿前后拼接。 工具已自动处理,请勿通过后处理音频来移动短语位置。
- 您无法听到音频。 使用
check和数字验证,并明确说明无人听过。请用户(最好是母语者)聆听。切勿声称“听起来自然”。 - 安装前先询问。 切勿覆盖或删除用户文件;在独立文件夹中操作(例如视频旁边的
work/)。
1. 检查设置(一次性)
python3 --version # 3.10 或更新
ffmpeg -version | head -1 # 4.4 或更新
python3 -c "import numpy, soundfile, edge_tts, faster_whisper, pyrubberband; print('ok')"
audio-separator --version # 仅用于分离步骤
rubberband --version # 可选:更好的变速效果(否则使用 ffmpeg atempo)
缺失组件:
- Python 包:
pip3 install -r requirements.txt ffmpeg:brew install ffmpeg(macOS)/winget install ffmpeg(Windows)/apt install ffmpeg(Linux)rubberband(可选):brew install rubberband/apt install rubberband-cli- 分离器(体积较大,单独安装):
pip3 install "audio-separator[cpu]"。如果在 macOS 上import scipy崩溃(出现dlopen错误),运行pip3 install scipy==1.14.1可修复。
首次运行 transcribe 时会下载约 1.5 GB 的语音模型;首次运行 separate 会下载约 70 MB 的模型。请告知用户,并确保有数 GB 的可用磁盘空间。
2. 分离人声与音乐
python3 scripts/dub.py separate "/path/video.mp4" -o work
生成 work/vocals.wav 和 work/music.wav。如果视频没有音乐,跳过此步骤,混音时使用静音文件(通过 --music 指定任意静音文件)——或者直接构建并提供 dub_only.wav。
3. 转写
python3 scripts/dub.py transcribe work/vocals.wav --lang ru -o work/source.srt
--lang 是原始语音的语言。完整阅读 work/source.srt,就地修正错误(保持时间戳)。短语长度约为 2-7 秒。
4. 翻译
python3 scripts/dub.py budget work/source.srt --lang fr
该命令为每个短语输出其可用秒数和最大字符数(法语和英语约 15 字符/秒,西班牙语 14 字符/秒,印地语和德语 13 字符/秒,中文 5 字符/秒)。您自行编写翻译,作为 JSON 字符串列表,顺序与短语一致,例如 work/lines.fr.json:
["第一个短语的翻译。", "第二个短语的翻译。", "..."]
翻译意思而非逐字翻译;可自由缩短(删除填充词、重复词);品牌名称保持原样。对于印地语,外来品牌名称使用天城文书写以便语音朗读。数字保持数字。保持一致的称呼形式(“您”、“你们”等)。当句子跨短语边界时,可重新拆分相邻行。
python3 scripts/dub.py srt work/source.srt work/lines.fr.json -o work/fr.srt
fr.srt 也是同语言的字幕文件(原始时间戳)——将其提供给用户。
5. 构建、混合、检查
选择语音:edge-tts --list-voices | grep fr-(例如:fr-FR-HenriNeural、es-MX-JorgeNeural、hi-IN-MadhurNeural、zh-CN-YunxiNeural、en-US-GuyNeural、de-DE-ConradNeural)。
python3 scripts/dub.py build work/fr.srt --ref "/path/video.mp4" --voice fr-FR-HenriNeural -o work/fr --loudness-ref work/vocals.wav
阅读摘要。如果列出需要超过 1.25 倍速或影响后续短语的行,请在 lines.fr.json 中缩短这些行,重建 fr.srt 并再次运行 build:仅会重新朗读修改过的短语。
python3 scripts/dub.py mix work/fr/dub_only.wav --music work/music.wav --ref "/path/video.mp4" -o work/fr/final
python3 scripts/dub.py check work/fr/dub_only.wav work/fr.srt --lang fr --ref "/path/video.mp4"
mix 写入 final.wav 和 final.m4a,并输出其长度与视频长度对比;两者必须相差在百分之几秒以内。check 使用语音识别器重新读取配音(错误率:百分之几到约 15% 为正常;数字、品牌名称和拼写变体算作错误;中文按字符评分)。
每种语言重复步骤 4-5;步骤 2-3 只需执行一次。
6. 向用户报告
针对每种语言,告知用户:文件(final.m4a、<lang>.srt)、使用的语音、长度与视频的对比、错误率、加速的短语数量及最大加速倍数。说明您无法检查的内容:声音本身,以及如果您不熟悉该语言则无法判断翻译质量。列出修正识别错误时的猜测。
上传至 YouTube 由用户自行操作:YouTube Studio -> 字幕 -> 添加语言 -> 添加音轨(以及该语言的 .srt 字幕文件)。请勿代表用户上传任何内容。
如果出现问题
TTS failed for phrase N/retry:网络中断;重新运行build,已完成的短语会保留。- 某短语无声:其文本为空;检查 JSON 中的对应行。
- 语音听起来急促:该行超出预算;缩短它。
- YouTube 显示长度不一致:对视频和
final.m4a运行ffprobe并对比;使用视频作为--ref重新构建。.m4a长度会四舍五入到 AAC 帧(约 0.02 秒)。 - Windows/Linux:作者未测试;代码是跨平台的,但请如实报告问题。