Communitygithub.com

dub-studio

在本机为视频配音,翻译并重新配音,同时保留原音乐和音效,无需付费服务。

dub-studio 是什么?

dub-studio 是一个本地运行的 AI 配音工具,能够将视频中的语音翻译并重新配音为目标语言,同时保留背景音乐和音效。它使用 faster-whisper 进行本地转录(或读取用户提供的 SRT/VTT 字幕),通过 Demucs 分离人声,利用 Kokoro 内置合成语音为每句翻译配音,并自动调整语速和时长以匹配原始时间线。最终输出 MP4 视频、双语 SRT/VTT 字幕、计时报告和语音可视化图表。支持西班牙语、法语、意大利语、巴西葡萄牙语、印地语和英语,不支持日语、马来语等语言。用户需拥有视频版权或授权,且禁止克隆真实人声。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/VinVirtual/dub-studio/tree/HEAD

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

dub-studio 是做什么的?

流程:视频 -> 音频 -> faster-whisper(或用户字幕)-> 带时间戳的源语言句子 -> 你的翻译(JSON,每行一句,在时间预算内)-> Demucs 去除人声 -> Kokoro 为每行翻译配音 -> 时间匹配(atempo、停顿、标记)-> 与背景混合 -> 响度标准化 -> MP4 + 字幕 + 报告。

技能文件夹(下文写作 $D):即本文件夹。所有命令格式为 $D/dub <命令> ...;$D/dub help 列出所有命令。

规则(请先阅读)

  • 版权。 --rights 是用户自己的声明;工具会记录但无法核实。仅当视频是用户制作或拥有(--rights own)、用户拥有书面许可或授权(licensed)、或视频中的语音已是用户可替换的合成语音(synthetic)时,才可进行配音。如果不清楚,请询问。如果视频中出现或配音的是未经同意的真人,不要进行配音。永远不要让人说出他们没说过的话。
  • 禁止克隆。 新语音始终使用 Kokoro 的内置语音,通过名称选择。不要试图模仿原说话人或任何真人,也永远不要将录音作为语音传入(工具会拒绝)。
  • 标注声明。 输出的 MP4 元数据、VTT 文件以及 out/<lang>/README.md 中标明配音使用了合成语音。移交文件时保留此标注,并告知用户在发布时也保留它。
  • 翻译质量。 由你完成翻译。说明这是机器翻译,并建议在发布前由流利使用者检查。

语言

运行 $D/dub languages 查看实时列表。在本机(Kokoro v1.0,通过 kokoro-onnx,espeak-ng 音素)测试,并通过语音识别回读验证:

代码语言状态
en-us, en-gb英语支持
es西班牙语支持
fr-fr法语支持
it意大利语支持
pt-br巴西葡萄牙语支持
hi印地语一般:可理解,部分词错误
cmn普通话实验性:回读时大部分无法识别;需 --experimental 参数
ja日语不适用(kokoro-onnx 会将汉字读作“汉字音节”)
ms马来语不支持:Kokoro 无马来语语音

其他语言(德语、韩语、印尼语、阿拉伯语……)不支持:明确告知,不要用其他语言的语音替代。faster-whisper 支持的任何语言都可以作为源语言。

工作流程

  1. $D/dub check。修复所有 MISS 行(check_env.sh 会打印命令)。Demucs 为可选项;无 Demucs 时使用回退方案(见下文)。
  2. 与用户确认版权和目标语言。
  3. $D/dub prepare <video> --out <project> --to es,fr-fr --rights own [--from en]
    • 如果用户已有正确的脚本或字幕,添加 --srt subs.srt(或 .vtt)和 --from <lang>:将跳过语音识别,直接使用这些 cue 时间作为句子。
    • 输入必须包含视频流和音频轨道。--from 必须是纯语言代码(如 en、pt-BR)。
    • 在同一文件夹上再次运行 prepare 会被拒绝,因为 source.json 可能包含修正。--force 会替换 source.json 并重新生成翻译文件。
    • 若无用户字幕,faster-whisper small 模型在 CPU 上运行(--model base 更快,medium 更准确)。阅读 source.json,在翻译前修正其中的听错词(保留 id 和时间)。
    • --voice es=em_alex 选择语音;--max-tempo 1.2 降低语速上限;--target -23 设置广播级响度。
  4. 翻译。 打开每个 translations/<lang>.json。对于每行,将 source 的翻译写入 text:
    • 一行进,一行出:不要合并、拆分、重排或丢弃行,不要改变 id。
    • 保持在 budget.ideal 字符数内(以正常语速适配)。budget.max 是硬限制(以最大语速读出)。短比快好:删除填充词,使用最简短的自然措辞。
    • 翻译意思,而非单词。口语化、自然的语域。保留人名、产品名和数字。不要添加事实。
    • 纯文本:不含括号、舞台指示、标记或表情符号。
  5. $D/dub lint <project>:修复所有 ERROR(太长、为空、缺失)。阅读 WARNING(长行会借用之后的停顿;数字遗漏;未翻译行),尽可能缩短。
  6. $D/dub build <project> [--separation ...]:背景处理、语音、时间匹配、混合、响度标准化、封装。输出每种语言的 MP4、响度值以及被加速、移位或标记的行数。FLAG 行表示翻译过长,即使使用了停顿也超出;缩短该行并重新构建(语音会缓存,仅重新生成变更的行)。被推迟的行报告为 delayed,而非 flag:修复标记行,而非被推迟的行。
  7. 查看结果。 阅读 out/<lang>/sheet.png:配音语音行应位于源语言句子的时间槽内;蓝色(移位)可接受,红色(溢出)和紫色(延迟)不可接受。阅读 out/<lang>/report.md。
  8. $D/dub verify <project> --asr:检查时长、响度(使用 ffmpeg 的 ebur128:距目标值 ±0.5 LU 以内,真峰值不超过上限 0.5 dB,因为 AAC 编码可能略有增加)、标记以及 MP4 中的合成语音标注,并通过语音识别回读配音。你无法听到结果:这个回读分数是用来检查语音是否说了正确的词。低于 60% 的行会被列出;请查看它们。
  9. 移交:MP4、字幕文件、报告路径、测量到的响度、回读分数以及标注声明。

文件存放位置

  • dub.json:设置和版权声明。包括 fit.maxTempo(1.25)、fit.gap(行间 0.12 秒)、fit.maxEarly(行可提前 0.3 秒开始)、loudness.target(-16 LUFS)和 ceiling(-1.5 dBTP)、mix.background/mix.voice(dB)、mix.duck(dB,用于 duck 回退)、keepOriginal(true 则保留原音频作为第二条非默认轨道)、separation。
  • source.json:带时间戳的源语言句子。translations/<lang>.json:你的翻译。
  • out/<lang>/:<name>.<lang>.mp4、<name>.<lang>.srt|vtt(仅配音)、<name>.<lang>+<src>.srt|vtt(双语)、report.md|json、sheet.png、README.md。
  • work/:缓存(分离的音频、背景、配音后的语音),键值基于源文件、背景方法和 duck 等级。可以安全删除;删除后 verify --asr 需要重新运行 dub build,因为它读取 work/<lang>/voice.wav。

背景(音乐和音效)

dub.json 中的 separation 或 --separation 参数:

  • demucs(安装后默认):在 CPU 上运行 htdemucs,对于 20 秒片段约需 15-25 秒。效果最佳。权重从指定的 Hugging Face 修订版下载为 safetensors,并根据固定的 SHA-256 值校验;never use demucs 的 pickle 回退。
  • center:移除声像居中的内容(通常是人声)。仅适用于真正的立体声;也会移除居中的低音和单声道乐器。
  • duck:保留原音频,在原人声说话时将其降低(mix.duck,-18 dB)。原人声仍隐约可闻:告知用户。
  • none:仅语音。 auto 优先选择 demucs,否则选 center(立体声且有真实侧边内容),否则选 duck,报告会说明使用了哪种方法。

故障排除

  • “too long” 错误:缩短该行;不要将 maxTempo 提高到约 1.3 以上,否则听感急促。
  • 行逐渐滞后(报告中 shift s 增长):前一行溢出;缩短它。
  • source.json 中听错的词:直接在文件中编辑文本(保留 id 和时间),不要重新运行 prepare(会被拒绝,且 --force 会替换你的编辑和翻译)。然后 dub lint 会对源文本不再匹配的翻译发出警告:更新那些翻译。
  • 视频中带有源语言的硬编码文字或字幕:它们会保留;说明配音只替换声音。
  • 画面中的口型不会匹配:这是配音风格,而非唇形同步。
  • dub prepare 拒绝:阅读提示信息(版权、语言、缺少音频、字幕错误)并进行修复;不要绕过版权检查。

相关技能