🎙️ VideoAgent Audio Studio
À utiliser quand : L'utilisateur demande de générer de la parole, de narrer un texte, de créer une voix off, de composer de la musique ou de produire un effet sonore.
VideoAgent Audio Studio est un répartiteur audio intelligent. Il analyse votre demande et l'achemine vers le meilleur modèle disponible — ElevenLabs pour la parole et la musique, fal.ai pour les effets sonores rapides — et renvoie une URL audio prête à l'emploi.
Référence rapide
| Type de demande | Meilleur modèle | Latence |
|---|---|---|
| Narration texte / Voix off | elevenlabs-tts-v3 | ~3s |
| Synthèse vocale à faible latence (temps réel) | elevenlabs-tts-turbo | <1s |
| Musique de fond | cassetteai-music | ~15s |
| Effet sonore | elevenlabs-sfx | ~5s |
| Clonage vocal à partir d'un audio | elevenlabs-voice-clone | ~10s |
Comment utiliser
1. Démarrer le serveur AudioMind (une fois par session)
bash {baseDir}/tools/start_server.sh
Ceci démarre le serveur MCP ElevenLabs sur le port 8124. Le skill l'utilise pour toute la génération audio.
2. Acheminer la demande
Analysez la demande de l'utilisateur et appelez l'outil approprié via le serveur MCP :
Synthèse vocale (TTS)
Lorsque l'utilisateur demande de « narrer », « lire à voix haute », « dire » ou « créer une voix off » :
Utiliser l'outil MCP : text_to_speech
text: "<le texte à narrer>"
voice_id: "JBFqnCBsd6RMkjVDRZzb" # Par défaut : "George" (professionnel, neutre)
model_id: "eleven_multilingual_v2" # Utiliser "eleven_turbo_v2_5" pour une faible latence
Génération musicale
Lorsque l'utilisateur demande de « composer », « créer une musique de fond » ou « faire une bande sonore » :
Utiliser l'outil MCP : text_to_sound_effects (via cassetteai-music sur fal.ai)
prompt: "<description de la musique, ex. 'lo-fi hip hop entraînant, 90 secondes'>"
duration_seconds: <durée>
Effet sonore (SFX)
Lorsque l'utilisateur demande un son spécifique (par exemple, « une porte qui grince », « la pluie sur une fenêtre ») :
Utiliser l'outil MCP : text_to_sound_effects
text: "<description du son>"
duration_seconds: <1-22>
Clonage vocal
Lorsque l'utilisateur fournit un échantillon audio et souhaite cloner la voix :
Utiliser l'outil MCP : voice_add
name: "<nom de la voix>"
files: ["<url_du_fichier_audio>"]
Exemples de conversations
Utilisateur : « Fais-moi une voix off pour ce texte : Bienvenue à notre lancement de produit »
→ Acheminer vers : text_to_speech
text: "Bienvenue à notre lancement de produit"
voice_id: "JBFqnCBsd6RMkjVDRZzb"
model_id: "eleven_multilingual_v2"
🎙️ Voix off terminée ! Écouter ici
Utilisateur : « Génère 60 secondes de musique relaxante pour un podcast »
→ Acheminer vers : cassetteai-music (fal.ai)
prompt: "musique de fond relaxante pour un podcast, piano doux et rythmes légers, 60 secondes"
duration_seconds: 60
🎵 Musique de fond prête ! Écouter ici
Utilisateur : « Génère un effet sonore de porte qui s'ouvre style science-fiction »
→ Acheminer vers : text_to_sound_effects
text: "une porte futuriste de science-fiction qui coulisse avec un sifflement hydraulique"
duration_seconds: 3
Configuration
Requis
Définissez ELEVENLABS_API_KEY dans ~/.openclaw/openclaw.json :
{
"skills": {
"entries": {
"videoagent-audio-studio": {
"enabled": true,
"env": {
"ELEVENLABS_API_KEY": "votre_cle_elevenlabs_ici"
}
}
}
}
}
Obtenez votre clé sur elevenlabs.io/app/settings/api-keys.
Optionnel (pour les modèles musicaux et SFX de fal.ai)
"FAL_KEY": "votre_cle_fal_ici"
Obtenez votre clé sur fal.ai/dashboard/keys.
Hébergement du proxy
Le cli.js se connecte à un proxy hébergé par défaut. Si vous souhaitez un contrôle total — ou si vous devez servir des utilisateurs dans des régions où vercel.app est bloqué — vous pouvez déployer votre propre instance à partir du répertoire proxy/.
Déploiement rapide (Vercel)
cd proxy
npm install
vercel --prod
Variables d'environnement
Définissez-les dans votre projet Vercel (Dashboard → Settings → Environment Variables) :
| Variable | Nécessaire pour | Où l'obtenir |
|---|---|---|
ELEVENLABS_API_KEY | TTS, SFX, Clonage vocal | elevenlabs.io/app/settings/api-keys |
FAL_KEY | Génération musicale | fal.ai/dashboard/keys |
VALID_PRO_KEYS | (Optionnel) Restreindre l'accès | Liste séparée par des virgules des clés client autorisées |
Pointer cli.js vers votre proxy
export AUDIOMIND_PROXY_URL="https://votre-domaine.com/api/audio"
Ou définissez-le dans ~/.openclaw/openclaw.json :
{
"skills": {
"entries": {
"videoagent-audio-studio": {
"env": {
"AUDIOMIND_PROXY_URL": "https://votre-domaine.com/api/audio"
}
}
}
}
}
Domaine personnalisé (recommandé)
Si vos utilisateurs se trouvent en Chine continentale, associez un domaine personnalisé dans le tableau de bord Vercel (Dashboard → Settings → Domains) pour éviter les problèmes DNS avec vercel.app.
Référence des modèles
| ID du modèle | Type | Fournisseur | Notes |
|---|---|---|---|
eleven_multilingual_v2 | TTS | ElevenLabs | Meilleure qualité, prend en charge 29 langues |
eleven_turbo_v2_5 | TTS | ElevenLabs | Latence ultra-faible, idéal pour le temps réel |
eleven_monolingual_v1 | TTS | ElevenLabs | Anglais seulement, le plus rapide |
cassetteai-music | Musique | fal.ai | Génération musicale fiable et rapide |
elevenlabs-sfx | SFX | ElevenLabs | Effets sonores de haute qualité (jusqu'à 22s) |
elevenlabs-voice-clone | Clone | ElevenLabs | Cloner n'importe quelle voix à partir d'un court échantillon audio |
Journal des modifications
v3.0.0
- Table de routage simplifiée : Suppression des modèles instables/hors ligne de la référence principale. Le skill ne présente désormais que les modèles qui fonctionnent de manière fiable.
- Déclencheurs de cas d'utilisation plus clairs : Ajout d'une section « À utiliser quand » pour que l'agent active ce skill au bon moment.
- Configuration unifiée : Une seule clé
ELEVENLABS_API_KEYsuffit pour commencer.FAL_KEYest désormais optionnelle. - Complexité de sondage supprimée : La génération musicale utilise désormais
cassetteai-musicpar défaut, qui se termine de manière synchrone.
v2.1.0
- Ajout du workflow asynchrone pour les tâches de génération musicale de longue durée.
- Ajout de
cassetteai-musiccomme alternative stable pour la génération musicale.
v2.0.0
- Migration vers l'architecture du serveur MCP ElevenLabs.
- Ajout de la prise en charge du clonage vocal.
v1.0.0
- Version initiale avec routage TTS, musique et SFX.