Communitygithub.com

YouTube 音轨翻译:按原片秒数配音

把视频里的人声配成另一种语言,同时保留原有音乐,每句都落在原片同一秒,音轨长度精确对齐视频,直接用作 YouTube 多语言音轨。

YouTube 音轨翻译:按原片秒数配音 是什么?

视频本地化配方第 3 步(配音并交付),来自 oknehcvark/youtube-audio-translation(2026-10-06 发布)。除 edge-tts 语音外全部免费本地运行。scripts/dub.py 先分离人声和音乐,用 faster-whisper 转出带时间的句子,按句给出字数预算,由 agent 让每句译文刚好放进它的时长。build 把每句念出来并放回原来的开始时间,mix 按视频文件的精确长度和音乐混在一起(长度不符 YouTube 会拒收),check 再识别一遍配音给出错误率。同时给出同时间轴的 SRT,报告哪些句子被加速,并老实说明还没人真正听过。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/oknehcvark/youtube-audio-translation/tree/HEAD/skills/youtube-audio-translation

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

YouTube 音频翻译

将一个视频转换为其他语言的额外音轨。除语音(edge-tts 使用微软的在线语音)外,所有内容均免费且本地运行。引擎是该技能文件夹中的 scripts/dub.py。

流程:分离人声和音乐 -> 转写人声为带时间戳的短语 -> 您自行翻译每个短语以匹配其时间 -> 构建(朗读每个短语并将其放在原始视频对应的时间点上)-> 混合音乐至视频精确长度 -> 检查。

规则(违反任一条都会导致尝试失败)

  1. 结果长度必须等于视频文件长度(--ref video.mp4)。切勿从原始 .aac 文件中获取长度:ffprobe 仅通过比特率估算其时长,可能偏差高达 15 秒。YouTube 会拒绝与视频不匹配的音轨(“音频轨与视频必须具有相同长度”)。
  2. 您自行翻译,不要使用自动翻译工具。 自动翻译器无法考虑每个短语的可用秒数。先运行 budget,确保每行翻译都在字符预算内。超出预算会导致语速加快,听起来急促;低于预算的 80% 则工具会稍微减慢语速。
  3. 翻译前修正识别错误。 姓名和术语容易被误识别(例如服务“Klap”被听成“Clip”和“Клэп”;“экспорт”被听成“эксперт”)。阅读完整的 source.srt,就地修正,并告知用户您的猜测。
  4. 短语放置在其原始开始秒数上,切勿前后拼接。 工具已自动处理,请勿通过后处理音频来移动短语位置。
  5. 您无法听到音频。 使用 check 和数字验证,并明确说明无人听过。请用户(最好是母语者)聆听。切勿声称“听起来自然”。
  6. 安装前先询问。 切勿覆盖或删除用户文件;在独立文件夹中操作(例如视频旁边的 work/)。

1. 检查设置(一次性)

python3 --version                       # 3.10 或更新
ffmpeg -version | head -1               # 4.4 或更新
python3 -c "import numpy, soundfile, edge_tts, faster_whisper, pyrubberband; print('ok')"
audio-separator --version               # 仅用于分离步骤
rubberband --version                    # 可选:更好的变速效果(否则使用 ffmpeg atempo)

缺失组件:

  • Python 包:pip3 install -r requirements.txt
  • ffmpeg:brew install ffmpeg(macOS)/ winget install ffmpeg(Windows)/ apt install ffmpeg(Linux)
  • rubberband(可选):brew install rubberband / apt install rubberband-cli
  • 分离器(体积较大,单独安装):pip3 install "audio-separator[cpu]"。如果在 macOS 上 import scipy 崩溃(出现 dlopen 错误),运行 pip3 install scipy==1.14.1 可修复。

首次运行 transcribe 时会下载约 1.5 GB 的语音模型;首次运行 separate 会下载约 70 MB 的模型。请告知用户,并确保有数 GB 的可用磁盘空间。

2. 分离人声与音乐

python3 scripts/dub.py separate "/path/video.mp4" -o work

生成 work/vocals.wav 和 work/music.wav。如果视频没有音乐,跳过此步骤,混音时使用静音文件(通过 --music 指定任意静音文件)——或者直接构建并提供 dub_only.wav。

3. 转写

python3 scripts/dub.py transcribe work/vocals.wav --lang ru -o work/source.srt

--lang 是原始语音的语言。完整阅读 work/source.srt,就地修正错误(保持时间戳)。短语长度约为 2-7 秒。

4. 翻译

python3 scripts/dub.py budget work/source.srt --lang fr

该命令为每个短语输出其可用秒数和最大字符数(法语和英语约 15 字符/秒,西班牙语 14 字符/秒,印地语和德语 13 字符/秒,中文 5 字符/秒)。您自行编写翻译,作为 JSON 字符串列表,顺序与短语一致,例如 work/lines.fr.json:

["第一个短语的翻译。", "第二个短语的翻译。", "..."]

翻译意思而非逐字翻译;可自由缩短(删除填充词、重复词);品牌名称保持原样。对于印地语,外来品牌名称使用天城文书写以便语音朗读。数字保持数字。保持一致的称呼形式(“您”、“你们”等)。当句子跨短语边界时,可重新拆分相邻行。

python3 scripts/dub.py srt work/source.srt work/lines.fr.json -o work/fr.srt

fr.srt 也是同语言的字幕文件(原始时间戳)——将其提供给用户。

5. 构建、混合、检查

选择语音:edge-tts --list-voices | grep fr-(例如:fr-FR-HenriNeural、es-MX-JorgeNeural、hi-IN-MadhurNeural、zh-CN-YunxiNeural、en-US-GuyNeural、de-DE-ConradNeural)。

python3 scripts/dub.py build work/fr.srt --ref "/path/video.mp4" --voice fr-FR-HenriNeural -o work/fr --loudness-ref work/vocals.wav

阅读摘要。如果列出需要超过 1.25 倍速或影响后续短语的行,请在 lines.fr.json 中缩短这些行,重建 fr.srt 并再次运行 build:仅会重新朗读修改过的短语。

python3 scripts/dub.py mix work/fr/dub_only.wav --music work/music.wav --ref "/path/video.mp4" -o work/fr/final
python3 scripts/dub.py check work/fr/dub_only.wav work/fr.srt --lang fr --ref "/path/video.mp4"

mix 写入 final.wav 和 final.m4a,并输出其长度与视频长度对比;两者必须相差在百分之几秒以内。check 使用语音识别器重新读取配音(错误率:百分之几到约 15% 为正常;数字、品牌名称和拼写变体算作错误;中文按字符评分)。

每种语言重复步骤 4-5;步骤 2-3 只需执行一次。

6. 向用户报告

针对每种语言,告知用户:文件(final.m4a、<lang>.srt)、使用的语音、长度与视频的对比、错误率、加速的短语数量及最大加速倍数。说明您无法检查的内容:声音本身,以及如果您不熟悉该语言则无法判断翻译质量。列出修正识别错误时的猜测。

上传至 YouTube 由用户自行操作:YouTube Studio -> 字幕 -> 添加语言 -> 添加音轨(以及该语言的 .srt 字幕文件)。请勿代表用户上传任何内容。

如果出现问题

  • TTS failed for phrase N / retry:网络中断;重新运行 build,已完成的短语会保留。
  • 某短语无声:其文本为空;检查 JSON 中的对应行。
  • 语音听起来急促:该行超出预算;缩短它。
  • YouTube 显示长度不一致:对视频和 final.m4a 运行 ffprobe 并对比;使用视频作为 --ref 重新构建。.m4a 长度会四舍五入到 AAC 帧(约 0.02 秒)。
  • Windows/Linux:作者未测试;代码是跨平台的,但请如实报告问题。

相关技能