🎙️ VideoAgent Audio Studio
Usar cuando: El usuario pida generar voz, narrar texto, crear una locución, componer música o producir un efecto de sonido.
VideoAgent Audio Studio es un dispatcher inteligente de audio. Analiza tu solicitud y la enruta al mejor modelo disponible — ElevenLabs para voz y música, fal.ai para efectos de sonido rápidos — y devuelve una URL de audio lista para usar.
Referencia rápida
| Tipo de solicitud | Mejor modelo | Latencia |
|---|---|---|
| Narrar texto / Locución | elevenlabs-tts-v3 | ~3s |
| TTS de baja latencia (tiempo real) | elevenlabs-tts-turbo | <1s |
| Música de fondo | cassetteai-music | ~15s |
| Efecto de sonido | elevenlabs-sfx | ~5s |
| Clonar una voz a partir de audio | elevenlabs-voice-clone | ~10s |
Cómo usar
1. Iniciar el servidor AudioMind (una vez por sesión)
bash {baseDir}/tools/start_server.sh
Esto inicia el servidor MCP de ElevenLabs en el puerto 8124. El skill lo usa para toda la generación de audio.
2. Enrutar la solicitud
Analiza la solicitud del usuario y llama a la herramienta adecuada a través del servidor MCP:
Texto a Voz (TTS)
Cuando el usuario pida "narrar", "leer en voz alta", "decir" o "crear una locución":
Usar herramienta MCP: text_to_speech
text: "<el texto a narrar>"
voice_id: "JBFqnCBsd6RMkjVDRZzb" # Predeterminada: "George" (profesional, neutral)
model_id: "eleven_multilingual_v2" # Usar "eleven_turbo_v2_5" para baja latencia
Generación de música
Cuando el usuario pida "componer", "crear música de fondo" o "hacer una banda sonora":
Usar herramienta MCP: text_to_sound_effects (a través de cassetteai-music en fal.ai)
prompt: "<descripción de la música, ej. 'lo-fi upbeat, 90 segundos'>"
duration_seconds: <duración>
Efecto de sonido (SFX)
Cuando el usuario pida un sonido específico (ej., "una puerta chirriando", "lluvia en una ventana"):
Usar herramienta MCP: text_to_sound_effects
text: "<descripción del sonido>"
duration_seconds: <1-22>
Clonación de voz
Cuando el usuario proporcione una muestra de audio y quiera clonar la voz:
Usar herramienta MCP: voice_add
name: "<nombre de la voz>"
files: ["<url del archivo de audio>"]
Ejemplos de conversación
Usuario: "Ponle voz a este texto: Bienvenidos al lanzamiento de nuestro producto"
→ Enrutar a: text_to_speech
text: "Bienvenidos al lanzamiento de nuestro producto"
voice_id: "JBFqnCBsd6RMkjVDRZzb"
model_id: "eleven_multilingual_v2"
🎙️ ¡Locución lista! Escuchar aquí
Usuario: "Genera 60 segundos de música de fondo relajante para un podcast"
→ Enrutar a: cassetteai-music (fal.ai)
prompt: "música de fondo relajante lo-fi para un podcast, piano suave y ritmos suaves, 60 segundos"
duration_seconds: 60
🎵 ¡Música de fondo lista! Escuchar aquí
Usuario: "Genera un efecto de sonido de apertura de puerta estilo ciencia ficción"
→ Enrutar a: text_to_sound_effects
text: "una puerta futurista de ciencia ficción deslizándose con un siseo hidráulico"
duration_seconds: 3
Configuración
Requerido
Establece ELEVENLABS_API_KEY en ~/.openclaw/openclaw.json:
{
"skills": {
"entries": {
"videoagent-audio-studio": {
"enabled": true,
"env": {
"ELEVENLABS_API_KEY": "tu_clave_elevenlabs_aqui"
}
}
}
}
}
Obtén tu clave en elevenlabs.io/app/settings/api-keys.
Opcional (para modelos de música y SFX de fal.ai)
"FAL_KEY": "tu_clave_fal_aqui"
Obtén tu clave en fal.ai/dashboard/keys.
Auto-hospedaje del proxy
Por defecto, cli.js se conecta a un proxy alojado. Si deseas control total — o necesitas servir a usuarios en regiones donde vercel.app está bloqueado — puedes desplegar tu propia instancia desde el directorio proxy/.
Despliegue rápido (Vercel)
cd proxy
npm install
vercel --prod
Variables de entorno
Establécelas en tu proyecto de Vercel (Dashboard → Settings → Environment Variables):
| Variable | Requerida para | Dónde obtenerla |
|---|---|---|
ELEVENLABS_API_KEY | TTS, SFX, Clonación de voz | elevenlabs.io/app/settings/api-keys |
FAL_KEY | Generación de música | fal.ai/dashboard/keys |
VALID_PRO_KEYS | (Opcional) Restringir acceso | Lista separada por comas de claves de cliente permitidas |
Apuntar cli.js a tu proxy
export AUDIOMIND_PROXY_URL="https://tu-dominio.com/api/audio"
O establécela en ~/.openclaw/openclaw.json:
{
"skills": {
"entries": {
"videoagent-audio-studio": {
"env": {
"AUDIOMIND_PROXY_URL": "https://tu-dominio.com/api/audio"
}
}
}
}
}
Dominio personalizado (Recomendado)
Si tus usuarios están en China continental, vincula un dominio personalizado en Vercel Dashboard → Settings → Domains para evitar problemas de DNS con vercel.app.
Referencia de modelos
| ID del modelo | Tipo | Proveedor | Notas |
|---|---|---|---|
eleven_multilingual_v2 | TTS | ElevenLabs | Mejor calidad, soporta 29 idiomas |
eleven_turbo_v2_5 | TTS | ElevenLabs | Latencia ultrabaja, ideal para tiempo real |
eleven_monolingual_v1 | TTS | ElevenLabs | Solo inglés, más rápido |
cassetteai-music | Música | fal.ai | Generación de música fiable y rápida |
elevenlabs-sfx | SFX | ElevenLabs | Efectos de sonido de alta calidad (hasta 22s) |
elevenlabs-voice-clone | Clonación | ElevenLabs | Clona cualquier voz desde una muestra de audio corta |
Historial de cambios
v3.0.0
- Tabla de enrutamiento simplificada: Se eliminaron modelos inestables/fuera de línea de la referencia principal. El skill solo muestra modelos que funcionan de forma fiable.
- Desencadenantes de casos de uso más claros: Se añadió la sección "Usar cuando" para que el agente active este skill en el momento adecuado.
- Configuración unificada: Solo necesitas una única
ELEVENLABS_API_KEYpara empezar.FAL_KEYahora es opcional. - Complejidad de sondeo eliminada: La generación de música ahora usa
cassetteai-musicpor defecto, que se completa de forma síncrona.
v2.1.0
- Se añadió flujo de trabajo asíncrono para tareas largas de generación de música.
- Se añadió
cassetteai-musiccomo alternativa estable para la generación de música.
v2.0.0
- Migración a la arquitectura del servidor MCP de ElevenLabs.
- Se añadió soporte para clonación de voz.
v1.0.0
- Versión inicial con enrutamiento de TTS, música y SFX.