发布配音
位于
launch-film下的工具手册。从skills/launch-film/SKILL.md开始:那里包含核心内容、钩子加正文模板以及经验教训。凡本文档与此页不同之处,以launch-film为准。
在现代发布影片中,语音引导画面逐词演绎:当配音说到“标记”时,某物就被标记。这只有在每个词都有时间戳时才能实现。
供应商
- 默认:使用你自己的 Higgsfield 账号。
text2speech_v2(引擎包括elevenlabs、minimax、seed_speech等,依语音而异)用于在约100种预设语音中进行角色遴选,每行约消耗0.3积分。Seed Audio 则提供一种你可以通过提示词和音频参考来操控的叙述者风格。scripts/hf_voice.py是 CLI 的封装。 - 免费占位语音:
scripts/scratch_voice.py使用 macOS 的say(Linux 上为espeak-ng)生成占位音频。以此为全片构建并计时,每次评审标明“占位语音”,之后替换为正式音频。 - 免费本地克隆:
scripts/clone_local.py(Chatterbox,MIT 协议)可从已批准叙述者的8到10秒台词中克隆其声音。仅作替身,非正式母带。只克隆你拥有版权的语音。 - 始终在全片上下文中试听语音,而非零散片段。保留被否决语音的列表,避免重复推荐。
遴选
python3 skills/launch-voice/scripts/hf_voice.py cast "<影片开场台词>" film/vo/audition将用每一种预设语音朗读该行(约110种语音,约34积分),然后使用 whisper 检查每个音频,并测量语速和音调变化。ranking.md会优先列出精确匹配的行,最接近每秒2.5个词且音调变化约2个半音(对话风格,非播音腔)的行。--only Name,Name可以仅重新遴选少数语音。- 从男女声中各取前6名左右进入全剧本(
hf_voice.py lines),然后进行适配(见下文)。如果某语音需要超过12%的加速才能适配,说明它对该剧本来说太慢:将其剔除或删减台词。 - 每个保留的语音构建一个完整的影片,由用户挑选。ElevenLabs 在测试中语速和音调变化最小,因此是默认引擎。
长度与语速
- 目标语速为每秒2.2至2.7个词。一个优秀的参考发布影片是2.4(63秒内含151个词)。
- 一部20秒的影片大约容纳45个词;30秒约70个;60秒约140个。在加速语音之前,先删减台词。
- 每行对应一个分镜帧,6到20个词,措辞应使关键名词或动词落在节拍点上。
影片模板的工作流程
- 剧本位于
film/film.json的lines中。每行录制一个文件到film/vo/body/line-<id>.wav:使用hf_voice.py lines录制正式音频(将台词写为{"lines": [{"line": "02", "text": "..."}]}),或使用python3 skills/launch-voice/scripts/scratch_voice.py film/film.json生成占位音频(添加--hook film/hooks/<name>可同时为钩子行配音)。 - 运行
python3 skills/launch-voice/scripts/prep_lines.py film/film.json(添加--align force以强制使用强制对齐;若已安装uv,首次运行时会下载 torch,约2 GB)。该脚本会生成film/vo/body/lines.json,其中包含每行的持续时间和单词时间:当 torch 可用时使用强制对齐,否则使用 whisper.cpp,若两者均不可用则使用均匀估计并标记为estimate。 film/build.py将各行放置在影片时间线上,每个画面提示都跟随其对应的单词。替换一次音频只需一次预运行加一次重建。
自由形式影片的工作流程
vo/script-lines.json({"lines": [{"line": "01", "text": "..."}]}),然后每行一个文件:hf_voice.py lines vo/script-lines.json vo/takes/<voice> --voice <Name>。文本、语音、引擎和任务ID都会写入lines.json。- 适配:
python3 skills/launch-voice/scripts/fit_lines.py vo/placement.plan.json vo/takes/<voice> vo/versions/<voice>。计划为每行指定其最早开始时间、呼吸间隙以及(如果某帧必须结束)end_by。行内超过0.25秒的停顿将缩短至0.22秒;若连续多行仍超时,则将这些行整体加速,上限为12%。然后拼接:python3 skills/launch-voice/scripts/stitch.py vo/versions/<voice>/placement.json vo/versions/<voice> vo/versions/<voice>/vo.wav。 - 每行获取单词时间。对于视觉效果必须落定的任何内容,使用强制对齐:
uv run -q --with torch --with torchaudio --with soundfile python skills/launch-voice/scripts/force_align.py line.wav "确切的文字"。快速读取时,align_lines.py逐行运行 whisper.cpp。锚点按说话顺序解析(每个锚点是其前一个锚点之后的第一个匹配项),因此任何换用语音都会重新计时影片。对整个影片进行单次 whisper 处理会在行末尾处产生漂移;逐行处理则不会。 - 将单词时间交给
launch-motion(每个构建锚定到其对应的单词)和launch-sound(事件跟随单词)。
复古旁白
用于档案片或纪录片开场:python3 skills/launch-voice/scripts/vintage.py IN.wav OUT.wav --crackle crackle.wav 将带宽限制在150 Hz到5.8 kHz,添加磁带饱和、缓慢的晃动和真实的黑胶爆裂声底层(可用 Seed Audio 生成爆裂声)。Seed Audio 也可以直接以复古旁白声音朗读一行台词(“温暖、浑厚的1960年代纪录片旁白在旧黑胶唱片上……确切文字如下:……”);它读得较慢,并可能重新措辞(例如“gotta”变为“got to”),因此需用 whisper 核对。
同步规则
- 关键词必须在2帧之内与其对应的视觉效果对齐。以单词的第一帧开始构建;如果允许视觉效果领先于单词,则领先不超过4帧,并且全程保持一致。
- 在场景切换处让语音有呼吸空间:行与行之间留0.25到0.5秒。
- 最后一行至少应在徽标出现前1秒结束;徽标应有其自身的近乎静音时段(
launch-mix的下陷)。
当语音供应商不可用时的处理
使用占位语音进行构建,所有评审标明为“占位语音”,画面保持锚定于对齐后的单词,这样换回正式语音只需一次预运行加一次渲染。未经用户同意,绝不更换语音供应商或账号。
修复
- 一行台词超时少于5%:使用
ffmpeg -af atempo=1.04。超过5%:重写该行。 - 单词发音错误:在行的
say字段中按语音重拼(针对hf_voice.py),切勿修改原始剧本。 - Whisper 误判软结尾:使用强制对齐或缩短锚点前缀;不要重新录制。
- 数字:在对齐的文本中拼写出来(例如“twenty four”,而不是“24”)。
- Whisper 基础模型有时会误判产品名称。请使用小型或更大模型(
WHISPER_MODEL)检查最终单词。