dub-studio 是做什么的?
流程:视频 -> 音频 -> faster-whisper(或用户字幕)-> 带时间戳的源语言句子 -> 你的翻译(JSON,每行一句,在时间预算内)-> Demucs 去除人声 -> Kokoro 为每行翻译配音 -> 时间匹配(atempo、停顿、标记)-> 与背景混合 -> 响度标准化 -> MP4 + 字幕 + 报告。
技能文件夹(下文写作 $D):即本文件夹。所有命令格式为 $D/dub <命令> ...;$D/dub help 列出所有命令。
规则(请先阅读)
- 版权。
--rights是用户自己的声明;工具会记录但无法核实。仅当视频是用户制作或拥有(--rights own)、用户拥有书面许可或授权(licensed)、或视频中的语音已是用户可替换的合成语音(synthetic)时,才可进行配音。如果不清楚,请询问。如果视频中出现或配音的是未经同意的真人,不要进行配音。永远不要让人说出他们没说过的话。 - 禁止克隆。 新语音始终使用 Kokoro 的内置语音,通过名称选择。不要试图模仿原说话人或任何真人,也永远不要将录音作为语音传入(工具会拒绝)。
- 标注声明。 输出的 MP4 元数据、VTT 文件以及
out/<lang>/README.md中标明配音使用了合成语音。移交文件时保留此标注,并告知用户在发布时也保留它。 - 翻译质量。 由你完成翻译。说明这是机器翻译,并建议在发布前由流利使用者检查。
语言
运行 $D/dub languages 查看实时列表。在本机(Kokoro v1.0,通过 kokoro-onnx,espeak-ng 音素)测试,并通过语音识别回读验证:
| 代码 | 语言 | 状态 |
|---|---|---|
en-us, en-gb | 英语 | 支持 |
es | 西班牙语 | 支持 |
fr-fr | 法语 | 支持 |
it | 意大利语 | 支持 |
pt-br | 巴西葡萄牙语 | 支持 |
hi | 印地语 | 一般:可理解,部分词错误 |
cmn | 普通话 | 实验性:回读时大部分无法识别;需 --experimental 参数 |
ja | 日语 | 不适用(kokoro-onnx 会将汉字读作“汉字音节”) |
ms | 马来语 | 不支持:Kokoro 无马来语语音 |
其他语言(德语、韩语、印尼语、阿拉伯语……)不支持:明确告知,不要用其他语言的语音替代。faster-whisper 支持的任何语言都可以作为源语言。
工作流程
$D/dub check。修复所有 MISS 行(check_env.sh会打印命令)。Demucs 为可选项;无 Demucs 时使用回退方案(见下文)。- 与用户确认版权和目标语言。
$D/dub prepare <video> --out <project> --to es,fr-fr --rights own [--from en]- 如果用户已有正确的脚本或字幕,添加
--srt subs.srt(或.vtt)和--from <lang>:将跳过语音识别,直接使用这些 cue 时间作为句子。 - 输入必须包含视频流和音频轨道。
--from必须是纯语言代码(如en、pt-BR)。 - 在同一文件夹上再次运行
prepare会被拒绝,因为source.json可能包含修正。--force会替换source.json并重新生成翻译文件。 - 若无用户字幕,faster-whisper
small模型在 CPU 上运行(--model base更快,medium更准确)。阅读source.json,在翻译前修正其中的听错词(保留 id 和时间)。 --voice es=em_alex选择语音;--max-tempo 1.2降低语速上限;--target -23设置广播级响度。
- 如果用户已有正确的脚本或字幕,添加
- 翻译。 打开每个
translations/<lang>.json。对于每行,将source的翻译写入text:- 一行进,一行出:不要合并、拆分、重排或丢弃行,不要改变
id。 - 保持在
budget.ideal字符数内(以正常语速适配)。budget.max是硬限制(以最大语速读出)。短比快好:删除填充词,使用最简短的自然措辞。 - 翻译意思,而非单词。口语化、自然的语域。保留人名、产品名和数字。不要添加事实。
- 纯文本:不含括号、舞台指示、标记或表情符号。
- 一行进,一行出:不要合并、拆分、重排或丢弃行,不要改变
$D/dub lint <project>:修复所有 ERROR(太长、为空、缺失)。阅读 WARNING(长行会借用之后的停顿;数字遗漏;未翻译行),尽可能缩短。$D/dub build <project> [--separation ...]:背景处理、语音、时间匹配、混合、响度标准化、封装。输出每种语言的 MP4、响度值以及被加速、移位或标记的行数。FLAG行表示翻译过长,即使使用了停顿也超出;缩短该行并重新构建(语音会缓存,仅重新生成变更的行)。被推迟的行报告为delayed,而非flag:修复标记行,而非被推迟的行。- 查看结果。 阅读
out/<lang>/sheet.png:配音语音行应位于源语言句子的时间槽内;蓝色(移位)可接受,红色(溢出)和紫色(延迟)不可接受。阅读out/<lang>/report.md。 $D/dub verify <project> --asr:检查时长、响度(使用 ffmpeg 的 ebur128:距目标值 ±0.5 LU 以内,真峰值不超过上限 0.5 dB,因为 AAC 编码可能略有增加)、标记以及 MP4 中的合成语音标注,并通过语音识别回读配音。你无法听到结果:这个回读分数是用来检查语音是否说了正确的词。低于 60% 的行会被列出;请查看它们。- 移交:MP4、字幕文件、报告路径、测量到的响度、回读分数以及标注声明。
文件存放位置
dub.json:设置和版权声明。包括fit.maxTempo(1.25)、fit.gap(行间 0.12 秒)、fit.maxEarly(行可提前 0.3 秒开始)、loudness.target(-16 LUFS)和ceiling(-1.5 dBTP)、mix.background/mix.voice(dB)、mix.duck(dB,用于 duck 回退)、keepOriginal(true 则保留原音频作为第二条非默认轨道)、separation。source.json:带时间戳的源语言句子。translations/<lang>.json:你的翻译。out/<lang>/:<name>.<lang>.mp4、<name>.<lang>.srt|vtt(仅配音)、<name>.<lang>+<src>.srt|vtt(双语)、report.md|json、sheet.png、README.md。work/:缓存(分离的音频、背景、配音后的语音),键值基于源文件、背景方法和 duck 等级。可以安全删除;删除后verify --asr需要重新运行dub build,因为它读取work/<lang>/voice.wav。
背景(音乐和音效)
dub.json 中的 separation 或 --separation 参数:
demucs(安装后默认):在 CPU 上运行 htdemucs,对于 20 秒片段约需 15-25 秒。效果最佳。权重从指定的 Hugging Face 修订版下载为 safetensors,并根据固定的 SHA-256 值校验;never use demucs 的 pickle 回退。center:移除声像居中的内容(通常是人声)。仅适用于真正的立体声;也会移除居中的低音和单声道乐器。duck:保留原音频,在原人声说话时将其降低(mix.duck,-18 dB)。原人声仍隐约可闻:告知用户。none:仅语音。auto优先选择 demucs,否则选 center(立体声且有真实侧边内容),否则选 duck,报告会说明使用了哪种方法。
故障排除
- “too long” 错误:缩短该行;不要将
maxTempo提高到约 1.3 以上,否则听感急促。 - 行逐渐滞后(报告中
shift s增长):前一行溢出;缩短它。 source.json中听错的词:直接在文件中编辑文本(保留 id 和时间),不要重新运行prepare(会被拒绝,且--force会替换你的编辑和翻译)。然后dub lint会对源文本不再匹配的翻译发出警告:更新那些翻译。- 视频中带有源语言的硬编码文字或字幕:它们会保留;说明配音只替换声音。
- 画面中的口型不会匹配:这是配音风格,而非唇形同步。
dub prepare拒绝:阅读提示信息(版权、语言、缺少音频、字幕错误)并进行修复;不要绕过版权检查。