AI 音訊模型 (AI Audio Models)
這是一個針對 AI 音訊技術堆疊的決策輔助工具。它不會取代供應商的文件，而是從一個非常嘈雜的市場中縮小範圍，形成一個可靠的候選清單，然後幫助使用者驗證這些選擇。
何時使用此技能 (When to use this skill)
當使用者提出類似以下問題時，載入此技能：
- "我應該使用哪個 TTS 來製作波斯語的有聲書？"
- "Suno 的輸出可以安全地用於商業用途嗎？"
- "每月轉錄 500 小時的音訊需要多少錢？"
- "我需要一個 ASR API 還是可以自架 Whisper？"
- "哪個模型可以用 30 秒的音訊來複製聲音？"
- "我們需要一個延遲低於 300 毫秒的語音代理 (voice agent) — 該用什麼技術堆疊？"
不要將此技能用於一般的音訊工程（如混音、母帶處理、DSP 理論）或從頭開始構建模型架構。
工作流程 (Workflow)
依序執行以下步驟。不要跳過第 1 步 — 大多數糟糕的建議都是因為在了解限制條件之前就先給出答案。
1. 確定限制條件 (Establish the constraints)
只詢問你無法推斷出來的資訊。會改變答案的五個關鍵限制條件：
- 語言 — 以及每種語言的品質是否為硬性要求。
- 用量 — 每月需要處理的音訊小時數或字元數（決定使用雲端還是自架）。
- 延遲 — 即時對話 (<300 毫秒)、接近即時，或批次處理。
- 部署方式 — 允許使用雲端 API，還是必須在地端/離線執行（語音屬於生物辨識資料）。
- 商業意圖 — 決定哪些授權條款是適用的。
其他有用的資訊：預算上限、是否需要語音複製，以及輸出長度是否超過一分鐘。
2. 按類別縮小範圍 (Shortlist by category)
使用下方的快速對照表，然後開啟對應的參考檔案，以獲取完整的表格、定價和權衡比較。
| 需求 | 起始選擇 | 可靠的替代方案 |
|---|---|---|
| 即時語音代理 TTS | Cartesia Sonic-3, Deepgram Aura-2, ElevenLabs Flash | CosyVoice-2/3, Orpheus (自架) |
| 最高品質 TTS | ElevenLabs v3, Hume Octave | Higgs Audio v2, IndexTTS-2 (開源) |
| 最便宜且品質不錯的 TTS | Kokoro-82M (自架), OpenAI tts-1 | Piper, Azure Neural |
| 波斯語 TTS | Azure Neural (fa-IR), Google Chirp 3 | Piper fa_IR, 社群 VITS/Coqui |
| 英語 ASR 準確度 | Deepgram Nova-3, AssemblyAI Universal-3, ElevenLabs Scribe v2 | Canary-Qwen-2.5B, Parakeet-TDT (開源) |
| 大量低成本 ASR | Whisper large-v3-turbo (自架) | Soniox, Gladia |
| 波斯語 ASR | Whisper large-v3 + 人工校對, Azure fa-IR | Google fa-IR, Speechmatics |
| 完整歌曲（含人聲） | Suno v5, Udio | ACE-Step, YuE (開源) |
| 商業安全音樂 | Adobe Firefly, Stable Audio, ElevenLabs Music | ACE-Step (使用授權資料) |
| 音效 | ElevenLabs SFX v2 | TangoFlux, Woosh, Stable Audio Open |
| 影片擬音 (Foley) | MMAudio, HunyuanVideo-Foley | Kling/Runway Foley |
| 語音複製 (Voice cloning) | RVC (訓練), Seed-VC (零樣本) | ElevenLabs, OpenVoice v2 |
| 歌唱 (Singing) | Synthesizer V (工作室), Suno (快速) | DiffSinger, RVC on vocals |
| 音訊理解 | GPT-4o/5 audio, Gemini | Qwen3-Omni, Kimi-Audio (開源) |
| 音源分離 (Stem separation) | BS-RoFormer, Demucs v4 | UVR5 |
| 噪音抑制 | DeepFilterNet3, RNNoise | Krisp |
3. 明確計算成本 (Do the cost math explicitly)
永遠不要只回答"這取決於用量"而不進行計算。使用以下基準：
- 1 小時語音 ≈ 90,000 個字元。
- TTS：
每小時成本 = (每百萬字元價格 / 1,000,000) × 90,000。- $15/百萬字元 ≈ 每音訊小時 $1.35；$30/百萬字元 ≈ $2.70；$60–240/百萬字元 ≈ $5–22。
- ASR：
每小時成本 = 每分鐘價格 × 60。- $0.0043/分鐘 ≈ $0.26/小時；$0.02/分鐘 ≈ $1.20/小時。
- 自架：一張 L4 等級的 GPU 轉錄 Whisper large-v3-turbo 的速度約為即時速度的 30–60 倍 → 每個音訊小時約 $0.01–0.04，再加上工程時間。
- 損益平衡點： 大約每月 300–500 小時。低於此範圍，使用 API 通常比較划算；高於此範圍，專用 GPU 則更經濟。
- 再加上 10–30% 的費用，用於重試、重新生成和資料傳輸。
如果使用者提供了每月用量，請將兩種或三種選項的總成本並列展示。
4. 在推薦前檢查授權條款 (Check the license before recommending)
最常見的昂貴錯誤是推薦了一個不能商業使用的模型。
- Apache 2.0 / MIT / BSD / CC-BY 4.0 → 商業使用通常沒問題，但可能需要標註出處。
- CC-BY-NC → 僅限非商業用途。這包含了幾個受歡迎的 TTS 和音樂模型權重。
- Stability Community License → 低於某個營收門檻時允許商業使用。
- 自訂/社群授權 (Llama 風格、CPML) → 需要閱讀條款；通常有許多限制。
- 專有雲端服務 → 受供應商合約管轄，而非開放授權。
關鍵規則：程式碼儲存庫的授權條款不等於模型權重的授權條款。 例如：F5-TTS 的程式碼是 MIT 授權，但權重是 CC-BY-NC；Fish Speech 的程式碼是開放的，但權重是非商業用途。務必檢查 Hugging Face 上的模型卡 (model card)，而不是只看 GitHub。
5. 標記真正會造成問題的風險 (Flag the risks that actually bite)
- 未經同意的語音複製 — 根據歐盟 AI 法案和美國多州法律，會帶來法律風險；需要取得同意、進行記錄並揭露。
- 音樂版權 — 使用受保護目錄資料訓練的模型即使供應商提供賠償條款仍有風險；詢問訓練資料是否已獲得授權。
- 生物辨識資料 — 語音在 GDPR/CCPA 下屬於敏感的個人資料；在醫療、金融和公共部門，強制要求在地端部署。
- 版本飄移 — 雲端模型會在無通知的情況下變更；為確保生產環境的可重複性，應鎖定版本或快取輸出。
- 基準測試陷阱 — 公開的 WER/MOS 數字通常是針對英文朗讀語音。始終建議使用使用者自己領域的 50–200 個樣本測試集進行驗證。
6. 以固定格式回答 (Answer in a fixed shape)
按照以下順序產出：
- 推薦 — 用一句話提出一個主要選擇和一個備用方案。
- 原因 — 三點，緊扣使用者的限制條件，而非泛泛的讚美。
- 在使用者用量下的成本 — 一個小表格，顯示計算過程。
- 授權/風險說明 — 針對所選模型，用一到兩行具體說明。
- 需要驗證的事項 — 在決定之前應查看的特定基準測試或供應商頁面。
除非使用者要求深入了解，否則將內容控制在約 400 字以內。提供完整的比較作為後續討論，而非一次性全部拋出。
參考檔案 (Reference files)
僅開啟問題所需的檔案 — 這些檔案內容詳細，如果全部載入會浪費上下文。
| 檔案 | 內容 |
|---|---|
references/tts.md | 商業和開源 TTS、延遲、複製、定價、波斯語選項 |
references/asr.md | 商業和開源 ASR、WER、串流、說話者日誌、定價 |
references/music-sfx.md | 音樂生成、音效、擬音、輸出授權 |
references/voice-and-singing.md | 語音轉換、複製倫理、歌唱合成 |
references/understanding-and-processing.md | 音訊 LLM、分離、降噪、修復、超解析度 |
references/pricing-licensing.md | 單位經濟學、總擁有成本 (TCO)、授權矩陣、採購檢查清單 |
references/persian.md | 波斯語專用 ASR/TTS 狀態、資料集、正規化陷阱 |
護欄 (Guardrails)
- 標註價格日期。 說明數字反映的月份，並告知使用者應在供應商頁面上確認。切勿將估算呈現為報價。
- 不要捏造模型名稱或功能。 如果不確定某個模型是否存在或是否支援某種語言，請如實說明，並引導使用者查看排行榜。
- 不要協助冒用身分。 拒絕在未經同意的情況下複製真人聲音，並拒絕製作旨在欺騙的內容。
- 區分「開放權重」與「開放原始碼」。 許多模型發布了權重，但沒有發布訓練程式碼或資料。
- 偏好無聊但可靠的答案。 對於大多數團隊來說，使用受管 API 加上一個小型評估集，勝過他們無法維護的自架模型。
資訊來源 (Source of record)
此技能濃縮了一份更長的雙語報告，該報告包含 19 張比較表和 200 多個模型：https://saeedsheikhamiri.github.io/audio-ai-models-report/。當使用者需要了解完整的概觀時，請引用該報告，而不是在此處展開所有細節。