AI 오디오 모델
AI 오디오 스택을 위한 의사 결정 도구입니다. 공급업체 문서를 대체하지는 않지만, 매우 혼잡한 시장에서 방어 가능한 최종 후보 목록을 좁힌 후 사용자가 직접 확인할 수 있도록 돕습니다.
이 스킬을 사용해야 하는 경우
사용자가 다음과 같은 질문을 할 때 이 스킬을 불러오세요:
- "페르시아어 오디오북에 어떤 TTS를 사용해야 하나요?"
- "Suno의 출력을 상업적으로 사용해도 안전한가요?"
- "월 500시간의 전사 비용은 얼마인가요?"
- "ASR API가 필요한가요, 아니면 Whisper를 자체 호스팅할 수 있나요?"
- "30초 오디오로 음성을 복제할 수 있는 모델은 무엇인가요?"
- "300ms 미만의 음성 에이전트가 필요합니다. 어떤 스택을 사용해야 하나요?"
일반 오디오 엔지니어링(믹싱, 마스터링, DSP 이론) 또는 처음부터 모델 아키텍처를 구축하는 데는 사용하지 마세요.
워크플로우
다음 단계를 순서대로 실행하세요. 1단계를 건너뛰지 마세요. 대부분의 잘못된 추천은 제약 조건을 알기 전에 답변하기 때문에 발생합니다.
1. 제약 조건 파악
추론할 수 없는 것만 물어보세요. 답을 바꾸는 다섯 가지:
- 언어 — 각 언어의 품질이 필수 요구 사항인지 여부.
- 볼륨 — 월간 오디오 시간 또는 문자 수(클라우드 대 자체 호스팅 결정).
- 지연 시간 — 실시간 대화(<300ms), 준실시간, 또는 배치.
- 배포 — 클라우드 API 허용 또는 온프레미스/오프라인 실행 필수(음성은 생체 인식 데이터임).
- 상업적 의도 — 어떤 라이선스가 적격인지 결정합니다.
또한 유용한 정보: 예산 상한선, 음성 복제 필요 여부, 출력 길이가 1분을 초과하는지 여부.
2. 카테고리별로 최종 후보 목록 작성
아래 빠른 매트릭스를 사용한 후, 전체 테이블, 가격 및 트레이드오프를 위해 일치하는 참조 파일을 여세요.
| 필요 | 시작 대상 | 신뢰할 수 있는 대안 |
|---|---|---|
| 실시간 음성 에이전트 TTS | Cartesia Sonic-3, Deepgram Aura-2, ElevenLabs Flash | CosyVoice-2/3, Orpheus (자체 호스팅) |
| 최고 품질 TTS | ElevenLabs v3, Hume Octave | Higgs Audio v2, IndexTTS-2 (오픈) |
| 가장 저렴한 우수 TTS | Kokoro-82M (자체 호스팅), OpenAI tts-1 | Piper, Azure Neural |
| 페르시아어 TTS | Azure Neural (fa-IR), Google Chirp 3 | Piper fa_IR, 커뮤니티 VITS/Coqui |
| 영어 ASR 정확도 | Deepgram Nova-3, AssemblyAI Universal-3, ElevenLabs Scribe v2 | Canary-Qwen-2.5B, Parakeet-TDT (오픈) |
| 대량 저렴한 ASR | Whisper large-v3-turbo (자체 호스팅) | Soniox, Gladia |
| 페르시아어 ASR | Whisper large-v3 + 사람 검토, Azure fa-IR | Google fa-IR, Speechmatics |
| 보컬 포함 전체 노래 | Suno v5, Udio | ACE-Step, YuE (오픈) |
| 상업적으로 안전한 음악 | Adobe Firefly, Stable Audio, ElevenLabs Music | 라이선스 데이터가 있는 ACE-Step |
| 음향 효과 | ElevenLabs SFX v2 | TangoFlux, Woosh, Stable Audio Open |
| 비디오 Foley | MMAudio, HunyuanVideo-Foley | Kling/Runway Foley |
| 음성 복제 | RVC (학습), Seed-VC (제로샷) | ElevenLabs, OpenVoice v2 |
| 노래 | Synthesizer V (스튜디오), Suno (빠름) | DiffSinger, 보컬용 RVC |
| 오디오 이해 | GPT-4o/5 audio, Gemini | Qwen3-Omni, Kimi-Audio (오픈) |
| 스템 분리 | BS-RoFormer, Demucs v4 | UVR5 |
| 노이즈 억제 | DeepFilterNet3, RNNoise | Krisp |
3. 비용 계산을 명시적으로 수행
"볼륨에 따라 다릅니다"라고 계산 없이 답하지 마세요. 다음 기준점을 사용하세요:
- 1시간 음성 ≒ 90,000자.
- TTS:
시간당 비용 = (100만자당 가격 / 1,000,000) × 90,000.- $15/100만자 ≈ 오디오 시간당 $1.35; $30/100만자 ≈ $2.70; $60–240/100만자 ≈ $5–22.
- ASR:
시간당 비용 = 분당 가격 × 60.- $0.0043/분 ≈ 시간당 $0.26; $0.02/분 ≈ 시간당 $1.20.
- 자체 호스팅: L4급 GPU 1개로 Whisper large-v3-turbo를 약 30–60배 실시간 속도로 전사 → 오디오 시간당 $0.01–0.04, 엔지니어링 시간 추가.
- 손익분기점: 대략 월 300–500시간. 그 이하에서는 API가 일반적으로 유리하며, 그 이상에서는 전용 GPU가 유리합니다.
- 재시도, 재생성 및 송신을 위해 10–30%를 추가하세요.
사용자가 월간 볼륨을 제공하면 두세 가지 옵션의 총 비용을 나란히 표시하세요.
4. 추천 전 라이선스 확인
가장 흔한 값비싼 실수는 상업적으로 사용할 수 없는 모델을 추천하는 것입니다.
- Apache 2.0 / MIT / BSD / CC-BY 4.0 → 일반적으로 저작자 표시와 함께 상업적 사용 가능.
- CC-BY-NC → 비상업적 용도만 가능. 여기에는 여러 인기 TTS 및 음악 가중치가 포함됩니다.
- Stability Community License → 수익 임계값 미만에서 상업적 사용 허용.
- 맞춤형/커뮤니티 라이선스 (Llama 스타일, CPML) → 약관을 읽으십시오. 종종 제한 사항이 있습니다.
- 독점 클라우드 → 오픈 라이선스가 아닌 공급업체 계약이 적용됩니다.
중요 규칙: 코드 저장소의 라이선스는 가중치의 라이선스가 아닙니다. 예: F5-TTS는 MIT 코드와 CC-BY-NC 가중치를 가집니다. Fish Speech는 오픈 코드와 비상업적 가중치를 가집니다. GitHub뿐만 아니라 Hugging Face의 모델 카드를 항상 확인하세요.
5. 실제로 문제가 되는 위험 표시
- 동의 없는 음성 복제 — EU AI Act 및 여러 미국 주 법률에 따른 법적 위험; 동의, 로깅 및 공개 필요.
- 음악 저작권 — 보호된 카탈로그로 학습된 모델은 공급업체가 면책을 제공하더라도 위험이 있습니다. 어떤 데이터가 라이선스되었는지 물어보세요.
- 생체 인식 데이터 — 음성은 GDPR/CCPA에 따른 민감한 개인 데이터입니다. 의료, 금융 및 공공 부문에서는 온프레미스가 의무적일 수 있습니다.
- 버전 표류 — 클라우드 모델은 조용히 변경됩니다. 재현 가능한 프로덕션을 위해 버전을 고정하거나 출력을 캐시하세요.
- 벤치마크 함정 — 공개 WER/MOS 수치는 일반적으로 영어 낭독 음성용입니다. 항상 사용자 자체 도메인의 50–200개 샘플 테스트 세트를 권장하세요.
6. 고정된 형식으로 답변
다음 순서로 생성하세요:
- 추천 — 하나의 기본 선택과 하나의 대체 선택을 한 문장으로.
- 이유 — 사용자의 제약 조건에 연결된 세 가지 항목, 일반적인 칭찬이 아닙니다.
- 해당 볼륨의 비용 — 계산이 표시된 작은 표.
- 라이선스/위험 참고 사항 — 선택한 모델에 특화된 한두 줄.
- 확인할 사항 — 커밋하기 전에 확인해야 할 정확한 벤치마크 또는 공급업체 페이지.
사용자가 심층 정보를 요구하지 않는 한 약 400단어 미만으로 유지하세요. 모든 내용을 한 번에 보여주기보다는 후속 질문으로 전체 비교를 제공하세요.
참조 파일
질문에 필요한 것만 여세요. 이 파일들은 상세하며 전체를 로드하면 컨텍스트가 낭비됩니다.
| 파일 | 내용 |
|---|---|
references/tts.md | 상업용 및 오픈 TTS, 지연 시간, 복제, 가격, 페르시아어 옵션 |
references/asr.md | 상업용 및 오픈 ASR, WER, 스트리밍, 발화자 분할, 가격 |
references/music-sfx.md | 음악 생성, 음향 효과, Foley, 출력 라이선싱 |
references/voice-and-singing.md | 음성 변환, 복제 윤리, 노래 합성 |
references/understanding-and-processing.md | 오디오 LLM, 분리, 노이즈 제거, 복원, 초해상도 |
references/pricing-licensing.md | 단위 경제성, TCO, 라이선스 매트릭스, 조달 체크리스트 |
references/persian.md | 페르시아어 특화 ASR/TTS 현황, 데이터셋, 정규화 함정 |
가드레일
- 가격에 날짜를 표시하세요. 수치가 반영된 달을 명시하고 사용자에게 공급업체 페이지에서 확인하라고 알리세요. 추정치를 견적으로 제시하지 마십시오.
- 모델 이름이나 기능을 지어내지 마십시오. 모델이 존재하는지 또는 언어를 지원하는지 확실하지 않으면 그렇게 말하고 리더보드를 가리키세요.
- 사칭을 도와주지 마십시오. 동의 없는 실제 인물의 음성 복제를 거부하고, 속이기 위해 설계된 콘텐츠를 거부하세요.
- "오픈 가중치"와 "오픈 소스"를 구분하세요. 많은 모델이 가중치는 공개하지만 학습 코드나 데이터는 공개하지 않습니다.
- 지루한 답변을 선호하세요. 대부분의 팀에게는 관리형 API와 작은 평가 세트가 유지 관리할 수 없는 자체 호스팅 모델보다 낫습니다.
기록 출처
이 스킬은 19개의 비교 테이블과 200개 이상의 모델이 포함된 더 긴 이중 언어 보고서를 요약한 것입니다: https://saeedsheikhamiri.github.io/audio-ai-models-report/. 사용자가 전체 환경을 필요로 할 때 모든 내용을 여기서 확장하는 대신 해당 보고서를 인용하세요.