长视频配音 是做什么的?
长视频工作流的阶段 7。输出:一个音频文件目录,每句台词一个文件,按场景和说话者命名。或者决定视频无需语音。
场景 指脚本的一个镜头(一个镜头,最多 10 秒),在视频中按顺序编号,与之前阶段相同。
开始前
- 在
~/.long-video/projects/<slug>/中找到项目。要求存在status: approved的video-script.md和film-style.md。 - 加载项目配置:语言、画外音来源和提供商 (
audio.voiceover)、providers.tts、审批级别、预算。 - 从
film-style.md中读取说话模式和声音描述。 - 如果
audio/或voice-scripts/已存在,请询问:继续(列举已完成的部分),还是重新开始。
步骤 1:视频是否需要语音?
在询问之前先自行判断。检查:
film-style.md中的说话模式(旁白、角色、混合),- 配置中的
audio.voiceover.source(none、self-recorded、cloud-tts、local-tts), - 脚本中有多少句旁白或对白台词,分布在多少个场景中。
然后给出带理由的建议,并请求确认。示例:“脚本在 104 个场景中的 96 个里有 142 句旁白台词,且配置使用云端文本转语音。我推荐使用旁白视频。您希望我为其创建声音吗?”
- 如果脚本没有台词,或配置指定无画外音:建议跳过,并说明理由。
- 已批准。 继续步骤 2。
- 不需要。 在
project.json中设置"voice_mode": "none"和"stage": "voice-skipped"。说明后续阶段将仅使用音乐和音效。停止。 - 不同意建议。 遵循用户的意见。如果语音原是
none而用户现在想要,则更新配置备注。
未经用户确认,绝不创建任何声音。
步骤 2:构建配音阵容
- 列出每一位说话者:旁白(如有)和每个有对白的角色。统计每个人的台词数量。
- 对于每位说话者,从
film-style.md获取声音描述(年龄、语气、口音、语速)。如果描述缺失,根据visual-bible.md中的角色描述提出一个描述,并标记为“提议”。 - 以表格形式展示阵容:说话者、ID、台词数量、声音描述。要求用户确认或编辑。
- 说话者 ID:
narrator,或去掉char-前缀的角色ID(例如char-mara变为mara)。这些 ID 将用于文件名。
步骤 3:选择音频制作方式
询问:“应由 Claude 生成声音,还是您自行制作(录音或使用自己的工具)?”
- Claude 生成。 转到步骤 4。
- 我自行制作。 转到步骤 6。
- 两者都做。 编写声音脚本(步骤 6)并同时生成(步骤 4)。
- 如果
audio.voiceover.source是self-recorded,直接转到步骤 6。
步骤 4:寻找语音工具并制作样音
阅读 references/voice-generation.md。简而言之:
- 如果配置中有保存的方法 (
providers.tts),则使用该方法。先测试。 - 查找当前会话中连接的可生成语音的工具(ElevenLabs MCP 或类似工具,或具有语音工具的技能)。
- 检查设备上的 API 密钥环境变量。仅打印“已设置”或“未设置”。
- 检查本地文本转语音工具。
- 如果未找到任何工具,询问用户是否有 API 密钥(作为环境变量,切勿粘贴在聊天中)、要连接的 MCP 服务器,或浏览器中的语音网站。或者转到步骤 6。
先制作声音样本。未经用户批准角色声音,切勿生成完整音频。
- 为每位说话者选择符合描述的声音。列出工具的声音库并从中选择。切勿从记忆中使用声音 ID。如果工具能根据描述设计新声音,为难匹配的声音提供此选项。
- 为每位说话者制作一个短样本(5 到 15 秒)。使用该说话者在脚本中的真实台词,语言与配置语言一致。对于旁白,使用开场白。如果台词有演绎说明,请包含在内。
- 将样本保存到
audio/samples/,文件名为sample_<speaker>.mp3。 - 呈现每个样本,附带说话者、声音名称和台词。要求用户批准,或要求更换其他声音。如果用户要求另一种声音,则制作一个新样本(一次一个,绝不批量重试)。重复直到每位说话者都获批。
- 在
voice-cast.md中记录已批准的声音(说话者、声音名称、声音 ID、设置、样本文件)。更新film-style.md中的声音列表以匹配。
不要重复生成调用来重试。每次调用都可能再次计费。
步骤 5:生成台词
- 阅读
references/voice-script-format.md。根据脚本构建台词列表:每句台词一个条目,按场景顺序排列。 - 告知用户台词数量、总语音时长和大致成本。开始前询问。提供从某个范围开始的选项,例如场景 1 到 10。
- 测试场景。 生成第一个有语音的场景。播放或报告其时长。询问演绎效果是否合适。先调整设置。
- 按场景顺序使用已批准的声音进行生成。应用演绎说明。使用台词列表中的发音提示。
- 将每句台词保存为
audio/lines/scene-<NNN>_<speaker>_<NN>.<ext>。未经询问绝不覆盖已存在的文件。 - 每个文件生成后,使用
ffprobe测量其时长。与脚本中该场景的时长(见格式参考的适配规则)比较。记录结果。 - 如果某句台词不适合其场景,不要更改文字。提供选项:稍快语速(最多 10%)、延长场景(仍在 10 秒限制内),或在征得用户同意后将台词拆分到两个场景。
- 一次性全部处理还是逐一处理:询问用户。逐一处理将播放每句台词的结果,等待批准或重做请求。
- 如果工具在视频片段内部制作了自己的音频(唇形同步),询问是保留该音频还是使用这些文件。将答案记录在
audio/status.md中。
如果生成失败或用户拒绝,对于剩余场景回退到步骤 6。
步骤 6:为用户提供声音脚本
- 为完成的音频文件创建
audio/lines/,为台词列表创建voice-scripts/。显示完整路径。 - 按照格式参考,编写每批 20 个场景的批次文件 (
scenes-001-020.md) 和voice-scripts/index.md。每句台词包含:- 要保存的文件名:
audio/lines/scene-007_narrator_01.mp3 - 说话者和声音描述
- 准确文本、演绎说明和发音提示
- 场景时长,以便检查音频是否适配
- 要保存的文件名:
- 询问:一次性全部提供,还是逐一提供。
- 一次性全部提供。 展示文件夹路径和一个示例。用户自行处理批次文件。
- 逐一提供。 展示第一句台词及其文件名。等待用户确认已保存。检查文件是否存在且名称正确,并测量其时长。然后展示下一句台词。
- 随时提供检查文件夹的选项:将文件与索引比较,列出缺失、命名错误或音频过长的文件。
步骤 7:状态与完成
- 使用格式参考中的表格保持
audio/status.md为最新。状态值:pending,done,needs-manual,skipped。 - 更新
project.json:台词列表保存后设置"stage": "voice-prompts-done",每句台词都有音频文件且用户批准集后设置"stage": "voice-done"。 - 告知用户
audio/和voice-scripts/的路径、总语音时长与视频时长的对比,以及缺失或过长的内容。 - 提供将工作中使用的工具保存到配置 (
providers.tts) 的选项,仅保存方法和名称。 - 提供继续处理
long-video-sound(音效、环境声和背景音乐)的选项。仅当用户同意时才启动。除非用户要求且该阶段存在,否则不要启动任何其他后续阶段。
规则
- 未经用户在步骤 1 确认,绝不创建声音。
- 未经声音样本获批,绝不生成完整音频。
- 绝不更改脚本文字。如果台词不匹配,先询问。
- 绝不使用非来自工具自身声音库或用户提供的声音 ID。
- 绝不在聊天中索要 API 密钥。绝不在浏览器中输入密码或解决验证码。
- 绝不静默重复生成调用来重试。每次调用都可能再次计费。
- 台词列表获批后,绝不重命名文件。
- 保持聊天信息简短。将完整的台词列表放在文件中。