ElevenLabs 配音生成
使用ElevenLabs API为Remotion视频生成专业AI配音。
前提条件
.env.local文件中设置ELEVEN_API_KEY
快速开始
# 从文本生成配音
node ~/.agents/skills/elevenlabs-remotion/generate.js --text "您的文本在此" --output public/audio/voiceover.mp3
# 使用叙述者风格生成(更自然)
node ~/.agents/skills/elevenlabs-remotion/generate.js --text "您的文本" --character narrator --output voiceover.mp3
# 通过请求拼接生成场景
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes remotion/scenes.json --output-dir public/audio/project/
# 重新生成单个场景
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes scenes.json --scene scene2 --new-text "更新后的文本"
# 列出可用语音和角色预设
node ~/.agents/skills/elevenlabs-remotion/generate.js --list-voices
node ~/.agents/skills/elevenlabs-remotion/generate.js --list-characters
角色预设
使用角色预设可获得更自然的配音,避免逐字朗读屏幕文本:
| 角色 | 描述 | 最佳用途 |
|---|---|---|
literal | 完全按书面文本朗读 | 屏幕文本、引语 |
narrator | 专业讲故事者,流畅且引人入胜 | 解说、纪录片 |
salesperson | 热情、有说服力、充满活力 | 营销、广告 |
expert | 权威、自信、知识渊博 | 法律内容、教程 |
conversational | 随意、友好、自然 | 社交媒体、休闲内容 |
dramatic | 强烈、情绪化、有冲击力 | 钩子、问题陈述 |
calm | 舒缓、令人安心、温和 | 建立信任、结尾 |
# 全局使用叙述者风格
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes scenes.json --character narrator --output-dir public/audio/
# 或在 scenes.json 中按场景设置
{
"scenes": [
{ "id": "scene1", "text": "问题陈述", "character": "dramatic" },
{ "id": "scene2", "text": "解决方案", "character": "calm" }
]
}
基于场景的生成与请求拼接
使用ElevenLabs请求拼接功能,生成多个具有一致韵律的场景:
scenes.json 格式
{
"name": "product-demo",
"voice": "George",
"character": "narrator",
"scenes": [
{
"id": "scene1",
"text": "通用文本转语音听起来很机械。您的品牌值得更好的。",
"duration": 4.5,
"character": "dramatic"
},
{
"id": "scene2",
"text": "通过语音克隆,您可以使用自己的语音创建无限内容。",
"duration": 5.5
},
{
"id": "scene3",
"text": "录制一个简短样本。克隆它。几分钟内创建专业配音。",
"duration": 6,
"delay": 0.3
}
]
}
生成所有场景
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/product-demo-scenes.json \
--output-dir public/audio/product-demo/
这会创建:
product-demo-scene1.mp3到sceneN.mp3product-demo-combined.mp3(所有场景拼接)product-demo-info.json(包含时长的元数据)
单场景重新生成
如果场景开始过早、时序错误或需要不同文本:
# 用新文本重新生成 scene2
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/scenes.json \
--scene scene2 \
--new-text "更新后的场景2文本" \
--output-dir public/audio/project/
# 用不同角色重新生成 scene3
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/scenes.json \
--scene scene3 \
--character salesperson \
--output-dir public/audio/project/
# 仅重新生成(相同文本、相同角色)
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/scenes.json \
--scene scene1 \
--output-dir public/audio/project/
# 将缩略图嵌入MP4视频
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/my-video.mp4 \
--thumbnail public/videos/my-thumbnail.png \
--output public/videos/my-video-with-thumb.mp4
该工具自动:
- 使用先前场景的请求拼接以实现一致的韵律
- 用新元数据更新 info.json 文件
- 如果提供了
--new-text,则更新 scenes.json
缩略图嵌入
将缩略图嵌入MP4视频,使Twitter、YouTube等播放器显示自定义缩略图,而非第一帧。
将缩略图嵌入视频
# 基本用法 - 输出到 video-thumb.mp4
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/promo.mp4 \
--thumbnail public/videos/thumbnail.png
# 自定义输出路径
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/promo.mp4 \
--thumbnail public/videos/thumbnail.png \
--output public/videos/promo-final.mp4
与Remotion的工作流
# 1. 渲染视频
npx remotion render MyVideo public/videos/my-video.mp4
# 2. 渲染缩略图(使用Still组件)
npx remotion still MyVideoThumbnail public/videos/my-thumbnail.png
# 3. 嵌入缩略图
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/my-video.mp4 \
--thumbnail public/videos/my-thumbnail.png \
--output public/videos/my-video-final.mp4
支持的格式
- 视频: MP4 (H.264/H.265)
- 缩略图: PNG, JPG, JPEG
嵌入使用ffmpeg的 -disposition:v:1 attached_pic 标志将缩略图设置为附加图片,大多数视频播放器和平台都能识别。
时序验证
该技能会在生成后自动使用 ffprobe 验证时序:
检查项
| 检查项 | 阈值 | 描述 |
|---|---|---|
| 时长不匹配 | >15% | 实际时长与预期时长差异过大时发出警告 |
| 前导静音 | >200ms | 音频开始过晚(配音延迟) |
| 尾部静音 | >500ms | 结尾不必要的静音 |
| 语速 | 2-4.5 字/秒 | 最佳约3字/秒 |
验证现有音频
# 验证项目中的所有场景
node ~/.agents/skills/elevenlabs-remotion/generate.js --validate public/audio/product-demo/
输出示例:
🔍 正在验证 product-demo(6个场景)
❌ scene1: 3.00s(预期:4.5s)
❌ 音频比预期短1.50s
👍 8个字 @ 3.1字/秒
⚠️ scene2: 6.35s(预期:5.5s)
⚠️ 前导静音:235ms(可能开始过晚)
🐢 10个字 @ 1.8字/秒
✅ scene4: 4.36s(预期:4s)
👍 9个字 @ 2.3字/秒
📊 总时长:30.80s(预期:30.00s)
更新后的 info.json
验证后,info.json 包含实际测量值:
{
"scenes": [
{
"id": "scene1",
"duration": 4.5,
"actualDuration": 3.0,
"leadingSilence": 0.05,
"wordsPerSecond": 3.1
}
]
}
在Remotion组件中使用 actualDuration 以实现精确同步。
选项
| 选项 | 描述 | 默认值 |
|---|---|---|
--text, -t | 要转换为语音的文本 | 必需(或 --file/--scenes) |
--file, -f | 从文件读取文本 | - |
--output, -o | 输出文件路径 | output.mp3 |
--output-dir | 场景的输出目录 | public/audio |
--voice, -v | 语音名称或ID | George |
--model, -m | 模型ID | eleven_multilingual_v2 |
--character, -c | 角色预设 | literal |
--scenes | 包含场景的JSON文件 | - |
--scene | 重新生成的单个场景ID | - |
--new-text | 用于场景重新生成的新文本 | - |
--validate | 验证现有音频目录 | - |
--skip-validation | 跳过自动验证 | false |
--embed-thumbnail | 要嵌入缩略图的视频文件 | - |
--thumbnail | 缩略图文件(PNG/JPG) | - |
--stability | 语音稳定性(0-1) | 因角色而异 |
--similarity | 语音相似度(0-1) | 因角色而异 |
--style | 风格夸张程度(0-1) | 因角色而异 |
--no-combined | 跳过合并文件 | false |
推荐语音
| 语音 | 风格 | 最佳用途 |
|---|---|---|
George | 温暖、迷人的英式 | 旁白、解说 |
Antoni | 专业、温暖 | 法律内容、教程 |
Arnold | 权威、深沉 | 企业、严肃主题 |
Josh | 友好、健谈 | 营销、休闲内容 |
与Remotion集成
生成场景配音后,在您的组件中使用:
import { Audio, Sequence, staticFile } from "remotion";
// 使用单个场景音频文件实现精确同步
const SCENE_DURATIONS = {
scene1: 4.5, // 来自 info.json
scene2: 5.5,
scene3: 8.0,
};
export const VideoWithVoiceover: React.FC = () => {
const { fps } = useVideoConfig();
const scene1Frames = Math.round(SCENE_DURATIONS.scene1 * fps);
const scene2Frames = Math.round(SCENE_DURATIONS.scene2 * fps);
return (
<>
<Sequence from={0} durationInFrames={scene1Frames}>
<Audio src={staticFile("audio/project/project-scene1.mp3")} />
<Scene1Visual />
</Sequence>
<Sequence from={scene1Frames} durationInFrames={scene2Frames}>
<Audio src={staticFile("audio/project/project-scene2.mp3")} />
<Scene2Visual />
</Sequence>
</>
);
};
最佳实践技巧
- 使用角色预设:不要逐字朗读屏幕文本——使用
narrator或expert实现自然流畅 - 标点很重要:使用句号表示停顿,逗号表示短暂休息
- 数字:写出数字以自然发音("五百" 而非 "500")
- 缩写:写出完整单词("二十四小时" 而非 "24h")
- 逐场景处理:不同场景可以使用不同角色(戏剧性的开场,平静的行动号召)
- 微调:使用
--scene重新生成单个场景,无需重做所有内容 - 请求拼接:保持所有场景的语音一致性
工作流示例
# 1. 使用脚本创建 scenes.json
# 2. 以叙述者风格生成所有场景
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/my-video-scenes.json \
--character narrator \
--output-dir public/audio/my-video/
# 3. 在Remotion中预览,注意到 scene2 开始过早
# 4. 仅重新生成 scene2,使用更新后的文本
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/my-video-scenes.json \
--scene scene2 \
--new-text "稍长一些的文本以填充视觉时序" \
--output-dir public/audio/my-video/
# 5. 使用 info.json 中的新时长更新视频组件
# 6. 重复直到时序完美