🎙️ VideoAgent Audio Studio
Verwenden, wenn: Der Benutzer darum bittet, Sprache zu generieren, Text vorzulesen, ein Voice-Over zu erstellen, Musik zu komponieren oder einen Soundeffekt zu produzieren.
VideoAgent Audio Studio ist ein intelligenter Audio-Dispatcher. Es analysiert Ihre Anfrage und leitet sie an das jeweils beste verfügbare Modell weiter – ElevenLabs für Sprache und Musik, fal.ai für schnelle Soundeffekte – und gibt eine sofort einsatzbereite Audio-URL zurück.
Kurzreferenz
| Anfrage-Typ | Bestes Modell | Latenz |
|---|---|---|
| Text vorlesen / Voice-Over | elevenlabs-tts-v3 | ~3s |
| Niedriglatenz-TTS (Echtzeit) | elevenlabs-tts-turbo | <1s |
| Hintergrundmusik | cassetteai-music | ~15s |
| Soundeffekt | elevenlabs-sfx | ~5s |
| Stimme aus Audio klonen | elevenlabs-voice-clone | ~10s |
Verwendung
1. AudioMind-Server starten (einmal pro Sitzung)
bash {baseDir}/tools/start_server.sh
Dies startet den ElevenLabs MCP-Server auf Port 8124. Das Skill verwendet ihn für die gesamte Audiogenerierung.
2. Anfrage weiterleiten
Analysieren Sie die Anfrage des Benutzers und rufen Sie das passende Tool über den MCP-Server auf:
Text-to-Speech (TTS)
Wenn der Benutzer darum bittet, "vorzulesen", "laut vorzulesen", "zu sagen" oder "ein Voice-Over zu erstellen":
Verwende MCP-Tool: text_to_speech
text: "<der vorzulesende Text>"
voice_id: "JBFqnCBsd6RMkjVDRZzb" # Standard: "George" (professionell, neutral)
model_id: "eleven_multilingual_v2" # Verwende "eleven_turbo_v2_5" für niedrige Latenz
Musikgenerierung
Wenn der Benutzer darum bittet, zu "komponieren", "Hintergrundmusik zu erstellen" oder "einen Soundtrack zu machen":
Verwende MCP-Tool: text_to_sound_effects (über cassetteai-music auf fal.ai)
prompt: "<Musikbeschreibung, z.B. 'fröhlicher Lo-Fi Hip Hop, 90 Sekunden'>"
duration_seconds: <Dauer>
Soundeffekt (SFX)
Wenn der Benutzer nach einem bestimmten Sound fragt (z.B. "eine quietschende Tür", "Regen auf einem Fenster"):
Verwende MCP-Tool: text_to_sound_effects
text: "<Soundbeschreibung>"
duration_seconds: <1-22>
Sprachklonen
Wenn der Benutzer ein Audiobeispiel bereitstellt und die Stimme klonen möchte:
Verwende MCP-Tool: voice_add
name: "<Name der Stimme>"
files: ["<URL der Audiodatei>"]
Beispiel-Unterhaltungen
Benutzer: "Lies diesen Text für mich vor: Willkommen zu unserer Produkteinführung"
→ Weiterleiten an: text_to_speech
text: "Willkommen zu unserer Produkteinführung"
voice_id: "JBFqnCBsd6RMkjVDRZzb"
model_id: "eleven_multilingual_v2"
🎙️ Voiceover erledigt! Hier anhören
Benutzer: "Generiere 60 Sekunden entspannende Hintergrundmusik für einen Podcast"
→ Weiterleiten an: cassetteai-music (fal.ai)
prompt: "entspannende Lo-Fi-Hintergrundmusik für einen Podcast, sanftes Klavier und weiche Beats, 60 Sekunden"
duration_seconds: 60
🎵 Hintergrundmusik bereit! Hier anhören
Benutzer: "Erzeuge einen Sci-Fi-ähnlichen Türöffnungs-Soundeffekt"
→ Weiterleiten an: text_to_sound_effects
text: "eine futuristische Sci-Fi-Tür, die sich mit einem hydraulischen Zischen öffnet"
duration_seconds: 3
Einrichtung
Erforderlich
Setzen Sie ELEVENLABS_API_KEY in ~/.openclaw/openclaw.json:
{
"skills": {
"entries": {
"videoagent-audio-studio": {
"enabled": true,
"env": {
"ELEVENLABS_API_KEY": "ihr_elevenlabs_schluessel_hier"
}
}
}
}
}
Holen Sie Ihren Schlüssel unter elevenlabs.io/app/settings/api-keys.
Optional (für fal.ai Musik- & SFX-Modelle)
"FAL_KEY": "ihr_fal_schluessel_hier"
Holen Sie Ihren Schlüssel unter fal.ai/dashboard/keys.
Selbst gehosteter Proxy
Das cli.js verbindet sich standardmäßig mit einem gehosteten Proxy. Wenn Sie die volle Kontrolle wünschen – oder Benutzer in Regionen bedienen müssen, in denen vercel.app blockiert ist – können Sie Ihre eigene Instanz aus dem Verzeichnis proxy/ bereitstellen.
Schnell bereitstellen (Vercel)
cd proxy
npm install
vercel --prod
Umgebungsvariablen
Setzen Sie diese in Ihrem Vercel-Projekt (Dashboard → Einstellungen → Umgebungsvariablen):
| Variable | Erforderlich für | Woher bekommen |
|---|---|---|
ELEVENLABS_API_KEY | TTS, SFX, Sprachklon | elevenlabs.io/app/settings/api-keys |
FAL_KEY | Musikgenerierung | fal.ai/dashboard/keys |
VALID_PRO_KEYS | (Optional) Zugriff einschränken | Kommagetrennte Liste erlaubter Clientschlüssel |
cli.js auf Ihren Proxy verweisen
export AUDIOMIND_PROXY_URL="https://ihre-domain.com/api/audio"
Oder setzen Sie es in ~/.openclaw/openclaw.json:
{
"skills": {
"entries": {
"videoagent-audio-studio": {
"env": {
"AUDIOMIND_PROXY_URL": "https://ihre-domain.com/api/audio"
}
}
}
}
}
Eigene Domain (Empfohlen)
Wenn Ihre Benutzer in Festlandchina sind, binden Sie im Vercel-Dashboard (Einstellungen → Domains) eine eigene Domain ein, um DNS-Probleme mit vercel.app zu vermeiden.
Modellreferenz
| Modell-ID | Typ | Anbieter | Anmerkungen |
|---|---|---|---|
eleven_multilingual_v2 | TTS | ElevenLabs | Beste Qualität, unterstützt 29 Sprachen |
eleven_turbo_v2_5 | TTS | ElevenLabs | Extrem niedrige Latenz, ideal für Echtzeit |
eleven_monolingual_v1 | TTS | ElevenLabs | Nur Englisch, am schnellsten |
cassetteai-music | Musik | fal.ai | Zuverlässige, schnelle Musikgenerierung |
elevenlabs-sfx | SFX | ElevenLabs | Hochwertige Soundeffekte (bis zu 22s) |
elevenlabs-voice-clone | Klon | ElevenLabs | Klone jede Stimme aus einem kurzen Audiobeispiel |
Changelog
v3.0.0
- Vereinfachte Routing-Tabelle: Instabile/offline Modelle aus der Hauptreferenz entfernt. Das Skill zeigt jetzt nur noch Modelle an, die zuverlässig funktionieren.
- Klarere Anwendungsfälle: "Verwenden, wenn"-Abschnitt hinzugefügt, damit der Agent dieses Skill zum richtigen Zeitpunkt aktiviert.
- Vereinheitlichte Einrichtung: Nur ein einziger
ELEVENLABS_API_KEYist erforderlich, um zu starten.FAL_KEYist jetzt optional. - Polling-Komplexität entfernt: Die Musikgenerierung verwendet jetzt standardmäßig
cassetteai-music, das synchron abschließt.
v2.1.0
- Asynchroner Workflow für langlebige Musikgenerierungsaufgaben hinzugefügt.
cassetteai-musicals stabile Alternative für die Musikgenerierung hinzugefügt.
v2.0.0
- Migration zur ElevenLabs MCP-Server-Architektur.
- Unterstützung für Sprachklonen hinzugefügt.
v1.0.0
- Erste Veröffentlichung mit TTS-, Musik- und SFX-Routing.