🎙️ VideoAgent Audio Studio
사용 조건: 사용자가 음성 생성, 텍스트 내레이션, 음성 해설, 음악 작곡, 또는 음향 효과 제작을 요청할 때.
VideoAgent Audio Studio는 스마트 오디오 디스패처입니다. 사용자의 요청을 분석하여 ElevenLabs(음성 및 음악), fal.ai(빠른 음향 효과) 등 가장 적합한 모델로 라우팅하고, 바로 사용 가능한 오디오 URL을 반환합니다.
빠른 참조
| 요청 유형 | 최적 모델 | 지연 시간 |
|---|---|---|
| 텍스트 내레이션 / 음성 해설 | elevenlabs-tts-v3 | ~3초 |
| 저지연 TTS (실시간) | elevenlabs-tts-turbo | <1초 |
| 배경 음악 | cassetteai-music | ~15초 |
| 음향 효과 | elevenlabs-sfx | ~5초 |
| 오디오로 음성 복제 | elevenlabs-voice-clone | ~10초 |
사용 방법
1. AudioMind 서버 시작 (세션당 한 번)
bash {baseDir}/tools/start_server.sh
이 명령은 ElevenLabs MCP 서버를 포트 8124에서 시작합니다. 이 스킬은 모든 오디오 생성에 이 서버를 사용합니다.
2. 요청 라우팅
사용자의 요청을 분석하고 MCP 서버를 통해 적절한 도구를 호출합니다:
텍스트 음성 변환 (TTS)
사용자가 "내레이션", "읽어주기", "말하기", 또는 "음성 해설"을 요청할 때:
MCP 도구 사용: text_to_speech
text: "<내레이션할 텍스트>"
voice_id: "JBFqnCBsd6RMkjVDRZzb" # 기본: "George" (전문적, 중립적)
model_id: "eleven_multilingual_v2" # 저지연이 필요하면 "eleven_turbo_v2_5" 사용
음악 생성
사용자가 "작곡", "배경 음악 만들기", 또는 "사운드트랙 제작"을 요청할 때:
MCP 도구 사용: text_to_sound_effects (fal.ai의 cassetteai-music 통해)
prompt: "<음악 설명, 예: '밝은 로파이 힙합, 90초'>"
duration_seconds: <길이>
음향 효과 (SFX)
사용자가 특정 소리(예: "삐걱거리는 문", "창문에 내리는 비")를 요청할 때:
MCP 도구 사용: text_to_sound_effects
text: "<소리 설명>"
duration_seconds: <1-22>
음성 복제
사용자가 오디오 샘플을 제공하고 음성을 복제하려 할 때:
MCP 도구 사용: voice_add
name: "<음성 이름>"
files: ["<오디오 파일 URL>"]
예시 대화
사용자: "이 텍스트를 읽어줘: 저희 제품 출시에 오신 것을 환영합니다"
→ 라우팅 대상: text_to_speech
text: "저희 제품 출시에 오신 것을 환영합니다"
voice_id: "JBFqnCBsd6RMkjVDRZzb"
model_id: "eleven_multilingual_v2"
🎙️ 음성 해설 완료! 여기서 듣기
사용자: "팟캐스트용으로 60초 분량의 편안한 배경 음악을 생성해줘"
→ 라우팅 대상: cassetteai-music (fal.ai)
prompt: "팟캐스트용 편안한 로파이 배경 음악, 부드러운 피아노와 소프트 비트, 60초"
duration_seconds: 60
🎵 배경 음악 준비 완료! 여기서 듣기
사용자: "SF 스타일의 문 열리는 음향 효과를 생성해줘"
→ 라우팅 대상: text_to_sound_effects
text: "미래형 SF 문이 유압식 쉿 소리를 내며 미끄러져 열리는 소리"
duration_seconds: 3
설정
필수
~/.openclaw/openclaw.json에 ELEVENLABS_API_KEY를 설정하세요:
{
"skills": {
"entries": {
"videoagent-audio-studio": {
"enabled": true,
"env": {
"ELEVENLABS_API_KEY": "your_elevenlabs_key_here"
}
}
}
}
}
키는 elevenlabs.io/app/settings/api-keys에서 받을 수 있습니다.
선택 사항 (fal.ai 음악 및 SFX 모델용)
"FAL_KEY": "your_fal_key_here"
키는 fal.ai/dashboard/keys에서 받을 수 있습니다.
프록시 자체 호스팅
cli.js는 기본적으로 호스팅된 프록시에 연결됩니다. 완전한 제어가 필요하거나 vercel.app이 차단된 지역의 사용자에게 서비스를 제공해야 하는 경우 proxy/ 디렉토리에서 자체 인스턴스를 배포할 수 있습니다.
빠른 배포 (Vercel)
cd proxy
npm install
vercel --prod
환경 변수
Vercel 프로젝트(대시보드 → 설정 → 환경 변수)에서 다음을 설정하세요:
| 변수 | 필요 대상 | 가져올 곳 |
|---|---|---|
ELEVENLABS_API_KEY | TTS, SFX, 음성 복제 | elevenlabs.io/app/settings/api-keys |
FAL_KEY | 음악 생성 | fal.ai/dashboard/keys |
VALID_PRO_KEYS | (선택 사항) 접근 제한 | 허용된 클라이언트 키의 쉼표로 구분된 목록 |
cli.js를 프록시에 연결
export AUDIOMIND_PROXY_URL="https://your-domain.com/api/audio"
또는 ~/.openclaw/openclaw.json에 설정:
{
"skills": {
"entries": {
"videoagent-audio-studio": {
"env": {
"AUDIOMIND_PROXY_URL": "https://your-domain.com/api/audio"
}
}
}
}
}
사용자 정의 도메인 (권장)
사용자가 중국 본토에 있는 경우 Vercel 대시보드 → 설정 → 도메인에서 사용자 정의 도메인을 바인딩하여 vercel.app의 DNS 문제를 피하세요.
모델 참조
| 모델 ID | 유형 | 제공자 | 참고 |
|---|---|---|---|
eleven_multilingual_v2 | TTS | ElevenLabs | 최고 품질, 29개 언어 지원 |
eleven_turbo_v2_5 | TTS | ElevenLabs | 초저지연, 실시간에 이상적 |
eleven_monolingual_v1 | TTS | ElevenLabs | 영어 전용, 가장 빠름 |
cassetteai-music | 음악 | fal.ai | 안정적이고 빠른 음악 생성 |
elevenlabs-sfx | SFX | ElevenLabs | 고품질 음향 효과 (최대 22초) |
elevenlabs-voice-clone | 복제 | ElevenLabs | 짧은 오디오 샘플로 모든 음성 복제 |
변경 로그
v3.0.0
- 라우팅 테이블 단순화: 불안정/오프라인 모델을 기본 참조에서 제거했습니다. 이제 스킬은 안정적으로 작동하는 모델만 표시합니다.
- 사용 사례 트리거 개선: "사용 조건" 섹션을 추가하여 에이전트가 적시에 이 스킬을 활성화하도록 했습니다.
- 통합 설정: 시작하는 데
ELEVENLABS_API_KEY하나만 있으면 됩니다.FAL_KEY는 이제 선택 사항입니다. - 폴링 복잡성 제거: 이제 음악 생성이 기본적으로
cassetteai-music을 사용하며 동기적으로 완료됩니다.
v2.1.0
- 장시간 음악 생성 작업을 위한 비동기 워크플로우 추가.
- 음악 생성을 위한 안정적인 대안으로
cassetteai-music추가.
v2.0.0
- ElevenLabs MCP 서버 아키텍처로 마이그레이션.
- 음성 복제 지원 추가.
v1.0.0
- TTS, 음악 및 SFX 라우팅을 포함한 초기 릴리스.