🎙️ VideoAgent Audio Studio
使用时机： 当用户要求生成语音、朗读文本、创建旁白、作曲或制作音效时。
VideoAgent Audio Studio 是一个智能音频调度器。它会分析你的请求，并将其路由到最佳可用模型——ElevenLabs 用于语音和音乐，fal.ai 用于快速音效——然后返回一个即用的音频 URL。
快速参考
| 请求类型 | 最佳模型 | 延迟 |
|---|---|---|
| 朗读文本 / 旁白 | elevenlabs-tts-v3 | ~3s |
| 低延迟 TTS（实时） | elevenlabs-tts-turbo | <1s |
| 背景音乐 | cassetteai-music | ~15s |
| 音效 | elevenlabs-sfx | ~10s |
| 从音频克隆声音 | elevenlabs-voice-clone | ~10s |
使用方法
1. 启动 AudioMind 服务器（每个会话一次）
bash {baseDir}/tools/start_server.sh
这将在端口 8124 上启动 ElevenLabs MCP 服务器。此技能将使用它进行所有音频生成。
2. 路由请求
分析用户请求并通过 MCP 服务器调用适当的工具：
文本转语音（TTS）
当用户要求“朗读”、“读出来”、“说”或“创建旁白”时：
使用 MCP 工具：text_to_speech
text: "<要朗读的文本>"
voice_id: "JBFqnCBsd6RMkjVDRZzb" # 默认：“George”（专业、中性）
model_id: "eleven_multilingual_v2" # 低延迟时使用 "eleven_turbo_v2_5"
音乐生成
当用户要求“作曲”、“创建背景音乐”或“制作配乐”时：
使用 MCP 工具：text_to_sound_effects （通过 fal.ai 的 cassetteai-music）
prompt: "<音乐描述，例如 '欢快的低保真嘻哈，90 秒'>"
duration_seconds: <时长>
音效（SFX）
当用户要求特定声音时（例如“门吱嘎作响”、“雨打窗户”）：
使用 MCP 工具：text_to_sound_effects
text: "<声音描述>"
duration_seconds: <1-22>
语音克隆
当用户提供音频样本并希望克隆声音时：
使用 MCP 工具：voice_add
name: "<声音名称>"
files: ["<音频文件 URL>"]
示例对话
用户： “帮我朗读这段文本：欢迎来到我们的产品发布会”
→ 路由到：text_to_speech
text: "欢迎来到我们的产品发布会"
voice_id: "JBFqnCBsd6RMkjVDRZzb"
model_id: "eleven_multilingual_v2"
🎙️ 旁白完成！点此收听
用户： “为播客生成 60 秒放松的背景音乐”
→ 路由到：cassetteai-music (fal.ai)
prompt: "relaxing lo-fi background music for a podcast, gentle piano and soft beats, 60 seconds"
duration_seconds: 60
🎵 背景音乐就绪！点此收听
用户： “生成一个科幻风格的门打开音效”
→ 路由到：text_to_sound_effects
text: "a futuristic sci-fi door sliding open with a hydraulic hiss"
duration_seconds: 3
设置
必需
在 ~/.openclaw/openclaw.json 中设置 ELEVENLABS_API_KEY：
{
"skills": {
"entries": {
"videoagent-audio-studio": {
"enabled": true,
"env": {
"ELEVENLABS_API_KEY": "your_elevenlabs_key_here"
}
}
}
}
}
在 elevenlabs.io/app/settings/api-keys 获取你的密钥。
可选（用于 fal.ai 音乐和音效模型）
"FAL_KEY": "your_fal_key_here"
在 fal.ai/dashboard/keys 获取你的密钥。
自托管代理
cli.js 默认连接到托管代理。如果你想完全控制——或者需要为 vercel.app 被屏蔽地区的用户提供服务——你可以从 proxy/ 目录部署你自己的实例。
快速部署（Vercel）
cd proxy
npm install
vercel --prod
环境变量
在 Vercel 项目中设置这些变量（仪表盘 → 设置 → 环境变量）：
| 变量 | 必需用于 | 获取位置 |
|---|---|---|
ELEVENLABS_API_KEY | TTS、SFX、语音克隆 | elevenlabs.io/app/settings/api-keys |
FAL_KEY | 音乐生成 | fal.ai/dashboard/keys |
VALID_PRO_KEYS | （可选）限制访问 | 允许的客户端密钥列表，用逗号分隔 |
将 cli.js 指向你的代理
export AUDIOMIND_PROXY_URL="https://your-domain.com/api/audio"
或者在 ~/.openclaw/openclaw.json 中设置：
{
"skills": {
"entries": {
"videoagent-audio-studio": {
"env": {
"AUDIOMIND_PROXY_URL": "https://your-domain.com/api/audio"
}
}
}
}
}
自定义域名（推荐）
如果你的用户在中国大陆，请在 Vercel 仪表盘 → 设置 → 域名中绑定自定义域名，以避免 vercel.app 的 DNS 问题。
模型参考
| 模型 ID | 类型 | 提供商 | 备注 |
|---|---|---|---|
eleven_multilingual_v2 | TTS | ElevenLabs | 最佳质量，支持 29 种语言 |
eleven_turbo_v2_5 | TTS | ElevenLabs | 超低延迟，适合实时场景 |
eleven_monolingual_v1 | TTS | ElevenLabs | 仅英语，最快 |
cassetteai-music | 音乐 | fal.ai | 可靠、快速的音乐生成 |
elevenlabs-sfx | 音效 | ElevenLabs | 高质量音效（最长 22 秒） |
elevenlabs-voice-clone | 克隆 | ElevenLabs | 从短音频样本克隆任意声音 |
更新日志
v3.0.0
- 简化路由表：从主参考中移除不稳定/离线模型。该技能现在只列出可靠工作的模型。
- 更清晰的用例触发：添加“使用时机”部分，让 Agent 在正确时刻激活此技能。
- 统一设置：只需一个
ELEVENLABS_API_KEY即可开始使用。FAL_KEY现在变为可选。 - 移除轮询复杂性：默认使用
cassetteai-music进行音乐生成，该模型同步完成。
v2.1.0
- 为长时间运行的音乐生成任务添加异步工作流。
- 添加
cassetteai-music作为音乐生成的稳定替代方案。
v2.0.0
- 迁移到 ElevenLabs MCP 服务器架构。
- 添加语音克隆支持。
v1.0.0
- 初始版本，支持 TTS、音乐和音效路由。