Communitygithub.com

视频配音与音频制作

为无声电影生成并验证旁白、选择配音人选、配乐跟随情绪变化、放置音效、在语音下降低音乐音量,并达到响度目标。一旦脚本完成,并在台词、配音、音乐或混音发生变化时使用。

视频配音与音频制作 是什么?

本技能为AI代理提供了一套完整的视频音频制作工作流程,适用于Claude Code、Cursor等开发工具。它通过命令行脚本实现专业级配音生成、配乐选择、音效放置和混音调整的全流程自动化。技能核心包括:使用ElevenLabs逐行生成配音并获取单词时间码(作为编辑时钟),通过LUFS标准化和停顿压缩优化节奏;基于情绪图选择配乐并精确控制音量变化;为画面切换添加同步音效;以及自动混音并设置语音/音乐的音量平衡。所有操作均依赖测量数据和脚本输出,适合视觉受限环境下完成高质量音频制作。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shubhamnshukla/video-agent-kit/tree/main/skills/video-voice-and-sound

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

配音与音效

您无法听到音频内容。请根据测量数据做出判断,通过转录进行验证,并告知他人需要聆听的具体内容。

1. 配音

使用 scripts/vo.py lines.json assets/vo-raw <voice_id> 为每行台词生成一个音频文件。它会向ElevenLabs请求单词时间码,并传递上下文中的前后台词语句,使语调保持连贯。这些单词时间码就是影片的时钟:每一个剪辑点和每一张字幕卡片都精确对应到某个单词上。

然后运行 scripts/vo_finish.py assets/vo-raw assets/vo:

  • 将每行台词的电平标准化到 −17 LUFS(生成的原始素材间电平差可达10 dB或以上);
  • 配合 --tighten <prefix> 参数,在快节奏段落中将超过0.34秒的停顿缩短。如果台词以片段形式编写(如"卡比尔。设计师..."),生成的文件中会存在半秒以上的间隙,会使影片显得拖沓。

逐行验证。 合并所有音频文件,转录音频(npx hyperframes transcribe file.wav --json),并将转录文本与脚本进行逐字比对。AI生成的语音可能会遗漏或替换小词:例如"couldn't"可能变成"could"。遇到此类情况,重写该行(如改为"could not")并重新生成。报告转录结果与脚本之间所有不一致之处,即使您认为转录器可能出错。

语速控制。 完成后,对于节奏紧凑的影片,配音的语速应保持在每秒2.4至2.8个单词之间。一位语速缓慢而平静的叙述者会使整部影片显得拖沓,无论剪辑节奏如何;这是初稿被认为无聊最常见的原因。

重做单独台词 可使用 --only id,id 参数;时间码文件会自动合并更新。

2. 与对方共同选择配音演员

配音风格关乎个人品味,且最终决定权在客户方。尽早提供样音示例,避免影片围绕某一声音构建后再更换,因为新配音会改变每行台词的长度和所有音效提示。

  • 按口音、性别和用途在语音库中搜索(其API会列出共享语音及其描述)。
  • 使用 vo.py lines.json samples A,B,C --sample 5 为同一段文案用五到八个不同声音生成音频。选择的文案应包含角色姓名和品牌名称。
  • 提供每个音频文件,并附上语音库自带的描述以及测量的语速。您无法通过听觉排序,请明确告知对方。

姓名处理。 某些声音可能会误读其他语言中的姓名。针对姓名行制作A/B对比:一份按原文拼写,另一份按该配音演员能正确发音的方式重新拼写(例如Kabeer, Urjun)。让对方选择。品牌名称的发音准确性由客户负责;请明确要求对方收听确认。

3. 配合情绪的音乐

通篇使用单一曲目会使故事显得平淡。首先根据影片情节划分情绪区域,然后为每个区域选择合适的曲目:

影片部分情绪选曲参考
开场、人物介绍轻快、充满希望宁静的钢琴或柔和脉动,少用打击乐
问题出现紧张、沉重缓慢增强的暗调铺底;加入心跳声或低频嗡声
点题台词近乎寂静一声低沉的击打音,然后在台词下方几乎无声
产品登场情绪提升一首节拍积极向上的曲目,开头克制,后续爆发
结尾与片尾卡舒缓同一曲目中较为柔和的部分

无需听觉的选择。 对每个候选曲目测量其随时间变化的电平(scripts/levels.py track 2)以及BPM。您需要观察其动态轮廓:为开场寻找一段平稳安静的段落;为紧张氛围寻找缓慢上升的曲线;曲目爆发点处应有5 dB或以上的明显电平跃升。将爆发点对齐到产品答案出现的那一刻。对于需要剪辑到节拍的段落,找出节拍网格(BPM和首个强拍的时间点)。

编辑曲目。 仅在小节线处进行剪切,使用40毫秒交叉淡化,并用画面剪辑遮盖接缝。如需提前结束曲目,可从高潮部分的小节线直接跳转到柔和部分起始处的小节线。编辑后,在接缝处测量电平,确认电平变化符合预期。

切换曲目。 在画面硬剪辑处进行切换,并在剪辑点添加一个冲击音效。将淡出曲目的衰减时间设为0.3秒。

4. 音效

细微的音效能让字幕卡片和画面剪辑显得更精致。准备一套常用音效库:三四个短促的弹拨声、一个轻拍音、发送和接收提示音、笔触纸张声、轻柔的呼啸声、低沉的轰鸣、暗色调的上升音、心跳声。

  • 测量每个音效的峰值出现时间(levels.py file 0.1)。例如,一个上升音效的峰值可能出现在文件开始后1.9秒处;一个冲击音效开头可能有0.25秒的静默。调整音效文件起始时间,使峰值精确对齐画面。
  • 音效应放置于画面出现后约20毫秒处,绝不可提前出现。
  • 在一连串字幕卡片中交替使用两到三种不同的弹拨音效。
  • 紧张段落下的心跳音效:开始时音量较低(0.3),逐渐增强(0.4,然后0.6),当音乐停止时单独保留一秒。

5. 混音

主合成中的素材片段:音乐使用独立片段并设置 data-volume="1",配音在电平标准化后设为1.25,音效根据文件类型在0.35至2.0之间调整。

scripts/mix.py index.html mix.json 脚本会编写音量自动化曲线,在配音出现时自动降低音乐音量。选择电平时应参考曲目的测量电平:背景铺底应比配音低11至13 dB。

背景铺底(测量值)配音下方音量配音间隙音量
宁静的钢琴,−25 dBFS0.91.5
暗调铺底,−21 dBFS0.550.95
活泼曲目(克制开场),−17 dBFS0.340.62
同一曲目(完整编曲),−11 dBFS0.190.4
同一曲目的柔和部分,−15 dBFS0.30.75

每当配音片段移动后,需要重新运行 mix.py。

响度目标。 测量最终渲染文件:ffmpeg -i film.mp4 -af ebur128=peak=true -f null -。目标集成响度约为 −16 LUFS,真实峰值不超过 −1 dBFS。

6. 需要告知对方的内容

每次交付时,明确告知以下内容:所有音频未经听觉验证;配音音频已转录回文字并与脚本核对相符(或指出哪些行不符);响度数据;以及需要重点聆听的具体事项,例如品牌名称的发音、指定段落中音乐是否在配音下方显得过响、音乐切换是否自然。

7. 许可与密钥

音乐和音效来源于客户已有账户的音效库,或使用许可允许此类用途的来源。在 CREDITS.md 中记录曲目标题和账户信息,并提醒客户确认所购买的计划覆盖了影片播放场所。密钥从环境变量或项目外部的文件中读取,绝不可写入项目代码中。

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

相关技能