Communitygithub.com

配音:逐字口播,用旁白给动画定节拍

按定稿脚本生成旁白、音效和配乐底,用工作室设定好的声音(ElevenLabs、本机 Qwen3-TTS 或你自己的录音):每条都检查,输出一条人声轨和一张动画跟着走的逐词时间表。

配音:逐字口播,用旁白给动画定节拍 是什么?

发布视频配方第 2 步(配音+定时),来自 GTKottman/mortiflix-oss——一个在你自己电脑上运行的动效工作室(2026-10-05 发布)。定稿脚本逐字念,旁白就是整部片的时钟。vo.mjs check 报告当前引擎(ElevenLabs、通过 ComfyUI 在本机 GPU 跑的 Qwen3-TTS、本人声音或无旁白),speak 逐条生成并自动重录漏字的句子,build 输出 voice/voice.wav 和 voice/timing.json,让剪辑点落在词上。不会退回机器人系统音,ElevenLabs 免费版会提醒署名。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/GTKottman/mortiflix-oss/tree/HEAD/pipelines/_shared/skills/voiceover

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

配音

经批准的脚本需逐字念出,旁白是动画定时的时钟。

VO=.claude/skills/voiceover/vo.mjs
node $VO check                                   # 检查使用的引擎、声音和模型;余额;此引擎的规则
node $VO speak voice/lines.json                  # 每一行都检查,如果漏词则重录
node $VO speak voice/lines.json --only b03-1     # 仅重录你修复的那几行
node $VO build voice/lines.json                  # 生成 voice/voice.wav + voice/timing.json

0. 选择哪种声音?

node $VO check 会显示所有者在设置中配置的内容(你不选择引擎或声音):

  • elevenlabs:声音、模型和设置已选定;密钥在环境变量中(切勿打印出来)。 check 显示方案和余额。免费方案下,音频不可商用,且必须注明 ElevenLabs: 在提交备注中说明即可。
  • qwen:通过本机 GPU 上的 ComfyUI 使用 Qwen3-TTS(免费,本地)。如果 check 显示 ComfyUI 或套件 未就绪,则为 mfx needs-you。
  • none:无旁白。如果需求文档要求旁白,则在下一关卡询问是否仅使用屏幕文本(默认),或等待所有者设置声音。切勿使用机器人系统声音。
  • own:所有者用自己的声音录制。按照下文编写 voice/lines.json(短行;在行首添加 [标签] 作为朗读提示,供所有者参考;跳过 IPA 和 v4 技巧,真人朗读 script)。node $VO speak voice/lines.json 随后列出仍需录制的行,并输出 mfx needs-you 文本,引导所有者进入录音室(网络录音室、mortiflix record 或导入文件)。发送该信息后停止。当所有者继续时,speak 通过,build 生成按行定时的音轨。如果某行在录制后被修改,speak 会要求重新录制该行。
  • 所有者的现有录音位于 input/(单个长文件,不限引擎):直接使用(裁剪成行片段,然后 build)。

请勿自行更改声音或模型:这是所有者的选择。如果明显有更优方案,请在交接时提出建议。

1. 编写 voice/lines.json

每个句子或换气单位作为一条记录(不超过约 600 字符;短行重录成本低):

[
  { "id": "b01-1", "text": "[温暖,从容] 每个城市都有自己的心跳。", "script": "每个城市都有自己的心跳。", "gap_after": 0.5 },
  { "id": "b01-2", "text": "我们的心跳,来自 \"/ˈbaɪsɪkəlz/\"。", "script": "我们的心跳,来自自行车。" }
]
  • text 是朗读的文本;script 是相同的正常拼写单词(当 text 包含标签或 IPA 时需要:校验时与 script 对比)。gap_after 是该行后的停顿时间(默认 0.4 秒;节拍之间可更长)。
  • ID 遵循脚本的节拍(如 b01-1),仅使用字母、数字和连字符。
  • 按照实际读音书写数字、日期和货币(“二零二六”、“百分之四点五”)。

指导 ElevenLabs Eleven v4(eleven_v4,默认)

  • 方括号内的音频标签控制演绎风格:[温暖]、[沉稳,好奇]、[低语]、[叹气]、[兴奋]、[快速,轻快]。每行开头放一个;仅在情绪明显转变时添加第二个。
  • 描述声音,而非音效。 v4 也能生成音效,因此 [雨声] 或 [掌声] 可能产生噪声。应写 [轻柔,悄声],而非 [安静房间]。校验会标记任何非语音声音的片段。
  • 标点和大小写: 省略号增加停顿和分量,大写增加强调。不使用 SSML: v4 忽略 <break> 和 <phoneme>(它们可能被直接念出)。
  • 发音: 引号内使用斜杠括起的 IPA,如 "/ˈkoʊmæl/",并在 script 中提供正常拼写。
  • v4 仅有稳定性和相似度设置(在设置中配置);无风格或速度选项:通过标签和标点控制节奏。
  • 每行会附带相邻行的文本发送,确保演绎流畅连贯。

其他 ElevenLabs 模型(如果所有者选择了):eleven_multilingual_v2 有风格和速度设置,支持 <break time="1.0s" /> 停顿(最长 3 秒);eleven_flash_v2 支持 <phoneme> 标签。请勿在这些模型上使用 v4 风格的标签。

指导 Qwen3-TTS(本地)

  • 演绎风格由所有者设置的指令(1.7B 模型)决定;行文本按纯文字朗读。标签和 IPA 在朗读前被移除(存在 script 时读取 script),因此 在 script 中按实际读音拼写困难名称。
  • 支持 10 种语言(英语、中文、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语、意大利语)。

2. 朗读与检查

speak 生成每一行,使用语音转文本(ElevenLabs Scribe v2,或本地 Qwen3-ASR)进行监听,当至少 92% 的单词与脚本匹配、无连续 3 个单词丢失或添加,且无杂音时保留该行。失败的行使用新种子重试(最多 --max-takes,默认 3 次);无论结果如何,保留最佳片段。ElevenLabs 行可同时处理多条(方案限制减一);本地行先全部朗读,再全部监听,因为两个模型在 GPU 上交替使用。

  • 结果:voice/clips/<id>.(mp3|wav) + <id>.json(引擎、片段编号、种子、转录文本、单词时间戳),所有片段保存在 voice/takes/,以及 voice/speak-report.json。
  • 持续失败的行:修复输入,不要重新生成。 拆分长句、拼写数字、添加 IPA(ElevenLabs)或同音拼写(本地),然后使用 speak --only 重试。
  • 先试听前两行,再生成其余部分:检查节奏、发音、语调。检查能捕获漏词,但无法判断品味。

3. 构建

build 将片段按间隔合并为 voice/voice.wav(48 kHz 单声道),并写入 voice/timing.json:每行的开始和结束时间,以及检查时测量的每个单词的开始和结束时间(当 "timing": "words" 时),否则仅包含行级时间。将动画定时所需的时间转换为帧(Math.round(seconds * fps))并写入 video/src/timing.ts,然后将 voice.wav 复制到 video/public/。切勿在单词内部剪切:应在静音处剪切。

4. 音效与音乐(ElevenLabs,启用时)

node .claude/skills/voiceover/sound.mjs sfx "柔和的玻璃般嗖声,从左到右" --seconds 1.2 --out sfx/whoosh.mp3
node .claude/skills/voiceover/sound.mjs sfx "低沉的城市环境音,远处车流" --seconds 20 --loop --out sfx/city.mp3
node .claude/skills/voiceover/sound.mjs music "温暖极简合成器背景,90 BPM,充满希望" --seconds 45 --out music/bed.mp3

音效:0.5–30 秒,--loop 用于无缝环境音,--influence 0–1(控制遵循提示的严格程度)。音乐:除非使用 --vocals,否则为纯器乐,时长 3 秒到 10 分钟。在 assets/SOURCES.md 中记录每个提示。

5. 混音

在旁白说话时,音乐音量约低于人声 18 dB;可在间隙中提升。最终混音:-14 LUFS,真实峰值 ≤ -1 dBTP(最终处理技能)。

6. 记录

编写 voice/VOICE.md:引擎、声音、模型、设置、使用的标签、发音修复、被拒片段及原因。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相关技能