配音
经批准的脚本需逐字念出,旁白是动画定时的时钟。
VO=.claude/skills/voiceover/vo.mjs
node $VO check # 检查使用的引擎、声音和模型;余额;此引擎的规则
node $VO speak voice/lines.json # 每一行都检查,如果漏词则重录
node $VO speak voice/lines.json --only b03-1 # 仅重录你修复的那几行
node $VO build voice/lines.json # 生成 voice/voice.wav + voice/timing.json
0. 选择哪种声音?
node $VO check 会显示所有者在设置中配置的内容(你不选择引擎或声音):
elevenlabs:声音、模型和设置已选定;密钥在环境变量中(切勿打印出来)。check显示方案和余额。免费方案下,音频不可商用,且必须注明 ElevenLabs: 在提交备注中说明即可。qwen:通过本机 GPU 上的 ComfyUI 使用 Qwen3-TTS(免费,本地)。如果check显示 ComfyUI 或套件 未就绪,则为mfx needs-you。none:无旁白。如果需求文档要求旁白,则在下一关卡询问是否仅使用屏幕文本(默认),或等待所有者设置声音。切勿使用机器人系统声音。own:所有者用自己的声音录制。按照下文编写voice/lines.json(短行;在行首添加[标签]作为朗读提示,供所有者参考;跳过 IPA 和 v4 技巧,真人朗读script)。node $VO speak voice/lines.json随后列出仍需录制的行,并输出mfx needs-you文本,引导所有者进入录音室(网络录音室、mortiflix record或导入文件)。发送该信息后停止。当所有者继续时,speak通过,build生成按行定时的音轨。如果某行在录制后被修改,speak会要求重新录制该行。- 所有者的现有录音位于
input/(单个长文件,不限引擎):直接使用(裁剪成行片段,然后build)。
请勿自行更改声音或模型:这是所有者的选择。如果明显有更优方案,请在交接时提出建议。
1. 编写 voice/lines.json
每个句子或换气单位作为一条记录(不超过约 600 字符;短行重录成本低):
[
{ "id": "b01-1", "text": "[温暖,从容] 每个城市都有自己的心跳。", "script": "每个城市都有自己的心跳。", "gap_after": 0.5 },
{ "id": "b01-2", "text": "我们的心跳,来自 \"/ˈbaɪsɪkəlz/\"。", "script": "我们的心跳,来自自行车。" }
]
text是朗读的文本;script是相同的正常拼写单词(当text包含标签或 IPA 时需要:校验时与script对比)。gap_after是该行后的停顿时间(默认 0.4 秒;节拍之间可更长)。- ID 遵循脚本的节拍(如
b01-1),仅使用字母、数字和连字符。 - 按照实际读音书写数字、日期和货币(“二零二六”、“百分之四点五”)。
指导 ElevenLabs Eleven v4(eleven_v4,默认)
- 方括号内的音频标签控制演绎风格:
[温暖]、[沉稳,好奇]、[低语]、[叹气]、[兴奋]、[快速,轻快]。每行开头放一个;仅在情绪明显转变时添加第二个。 - 描述声音,而非音效。 v4 也能生成音效,因此
[雨声]或[掌声]可能产生噪声。应写[轻柔,悄声],而非[安静房间]。校验会标记任何非语音声音的片段。 - 标点和大小写: 省略号增加停顿和分量,大写增加强调。不使用 SSML: v4 忽略
<break>和<phoneme>(它们可能被直接念出)。 - 发音: 引号内使用斜杠括起的 IPA,如
"/ˈkoʊmæl/",并在script中提供正常拼写。 - v4 仅有稳定性和相似度设置(在设置中配置);无风格或速度选项:通过标签和标点控制节奏。
- 每行会附带相邻行的文本发送,确保演绎流畅连贯。
其他 ElevenLabs 模型(如果所有者选择了):eleven_multilingual_v2 有风格和速度设置,支持 <break time="1.0s" /> 停顿(最长 3 秒);eleven_flash_v2 支持 <phoneme> 标签。请勿在这些模型上使用 v4 风格的标签。
指导 Qwen3-TTS(本地)
- 演绎风格由所有者设置的指令(1.7B 模型)决定;行文本按纯文字朗读。标签和 IPA 在朗读前被移除(存在
script时读取script),因此 在script中按实际读音拼写困难名称。 - 支持 10 种语言(英语、中文、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语、意大利语)。
2. 朗读与检查
speak 生成每一行,使用语音转文本(ElevenLabs Scribe v2,或本地 Qwen3-ASR)进行监听,当至少 92% 的单词与脚本匹配、无连续 3 个单词丢失或添加,且无杂音时保留该行。失败的行使用新种子重试(最多 --max-takes,默认 3 次);无论结果如何,保留最佳片段。ElevenLabs 行可同时处理多条(方案限制减一);本地行先全部朗读,再全部监听,因为两个模型在 GPU 上交替使用。
- 结果:
voice/clips/<id>.(mp3|wav)+<id>.json(引擎、片段编号、种子、转录文本、单词时间戳),所有片段保存在voice/takes/,以及voice/speak-report.json。 - 持续失败的行:修复输入,不要重新生成。 拆分长句、拼写数字、添加 IPA(ElevenLabs)或同音拼写(本地),然后使用
speak --only重试。 - 先试听前两行,再生成其余部分:检查节奏、发音、语调。检查能捕获漏词,但无法判断品味。
3. 构建
build 将片段按间隔合并为 voice/voice.wav(48 kHz 单声道),并写入 voice/timing.json:每行的开始和结束时间,以及检查时测量的每个单词的开始和结束时间(当 "timing": "words" 时),否则仅包含行级时间。将动画定时所需的时间转换为帧(Math.round(seconds * fps))并写入 video/src/timing.ts,然后将 voice.wav 复制到 video/public/。切勿在单词内部剪切:应在静音处剪切。
4. 音效与音乐(ElevenLabs,启用时)
node .claude/skills/voiceover/sound.mjs sfx "柔和的玻璃般嗖声,从左到右" --seconds 1.2 --out sfx/whoosh.mp3
node .claude/skills/voiceover/sound.mjs sfx "低沉的城市环境音,远处车流" --seconds 20 --loop --out sfx/city.mp3
node .claude/skills/voiceover/sound.mjs music "温暖极简合成器背景,90 BPM,充满希望" --seconds 45 --out music/bed.mp3
音效:0.5–30 秒,--loop 用于无缝环境音,--influence 0–1(控制遵循提示的严格程度)。音乐:除非使用 --vocals,否则为纯器乐,时长 3 秒到 10 分钟。在 assets/SOURCES.md 中记录每个提示。
5. 混音
在旁白说话时,音乐音量约低于人声 18 dB;可在间隙中提升。最终混音:-14 LUFS,真实峰值 ≤ -1 dBTP(最终处理技能)。
6. 记录
编写 voice/VOICE.md:引擎、声音、模型、设置、使用的标签、发音修复、被拒片段及原因。