AI 音频模型
AI 音频栈的决策辅助工具。它不替代供应商文档——而是将嘈杂的市场缩小到可靠的短名单，然后帮助用户验证它。
何时使用此技能
当用户提出如下问题时加载此技能：
- “波斯语音频书应该用哪个 TTS？”
- “Suno 的输出能安全地用于商业用途吗？”
- “每月 500 小时的转录成本是多少？”
- “我需要 ASR API，还是可以自托管 Whisper？”
- “哪个模型可以用 30 秒音频克隆声音？”
- “我们需要一个延迟低于 300 毫秒的语音代理——该用什么栈？”
不要将其用于通用音频工程（混音、母带、DSP 理论）或从头构建模型架构。
工作流
按顺序执行以下步骤。不要跳过第 1 步——大多数糟糕的推荐都源于在了解约束之前就回答。
1. 建立约束
只询问你无法推断的内容。以下是改变答案的五个关键约束：
- 语言——以及每种语言的质量是否为硬性要求。
- 音量——每月音频小时数或字符数（决定云端 vs 自托管）。
- 延迟——实时对话（<300 毫秒）、近实时或批量处理。
- 部署——允许使用云 API，还是必须本地/离线运行（语音是生物识别数据）。
- 商业意图——决定哪些许可符合条件。
此外还有用：预算上限、是否需要语音克隆、以及输出长度是否超过一分钟。
2. 按类别筛选
使用下面的快速矩阵，然后打开匹配的参考文件获取完整表格、定价和权衡。
| 需求 | 起点 | 可靠替代方案 |
|---|---|---|
| 实时语音代理 TTS | Cartesia Sonic-3, Deepgram Aura-2, ElevenLabs Flash | CosyVoice-2/3, Orpheus (自托管) |
| 最高质量 TTS | ElevenLabs v3, Hume Octave | Higgs Audio v2, IndexTTS-2 (开放) |
| 最物美价廉 TTS | Kokoro-82M (自托管), OpenAI tts-1 | Piper, Azure Neural |
| 波斯语 TTS | Azure Neural (fa-IR), Google Chirp 3 | Piper fa_IR, 社区 VITS/Coqui |
| 英语 ASR 准确度 | Deepgram Nova-3, AssemblyAI Universal-3, ElevenLabs Scribe v2 | Canary-Qwen-2.5B, Parakeet-TDT (开放) |
| 批量低成本 ASR | Whisper large-v3-turbo (自托管) | Soniox, Gladia |
| 波斯语 ASR | Whisper large-v3 + 人工复核, Azure fa-IR | Google fa-IR, Speechmatics |
| 完整歌曲含人声 | Suno v5, Udio | ACE-Step, YuE (开放) |
| 商用安全音乐 | Adobe Firefly, Stable Audio, ElevenLabs Music | ACE-Step (基于许可数据) |
| 音效 | ElevenLabs SFX v2 | TangoFlux, Woosh, Stable Audio Open |
| 视频拟音 | MMAudio, HunyuanVideo-Foley | Kling/Runway Foley |
| 语音克隆 | RVC (训练), Seed-VC (零样本) | ElevenLabs, OpenVoice v2 |
| 歌声 | Synthesizer V (专业版), Suno (快速) | DiffSinger, RVC 对人声 |
| 音频理解 | GPT-4o/5 音频, Gemini | Qwen3-Omni, Kimi-Audio (开放) |
| 音轨分离 | BS-RoFormer, Demucs v4 | UVR5 |
| 噪声抑制 | DeepFilterNet3, RNNoise | Krisp |
3. 明确计算成本
永远不要简单回答“取决于音量”而不计算。使用以下锚点：
- 1 小时语音 ≈ 90,000 字符。
- TTS：
每小时成本 = (每百万字符价格 / 1,000,000) × 90,000。- $15/百万 ≈ 每音频小时 $1.35；$30/百万 ≈ $2.70；$60–240/百万 ≈ $5–22。
- ASR：
每小时成本 = 每分钟价格 × 60。- $0.0043/分钟 ≈ $0.26/小时；$0.02/分钟 ≈ $1.20/小时。
- 自托管：一块 L4 级 GPU 以约 30–60 倍实时速度转录 Whisper large-v3-turbo → 每音频小时 $0.01–0.04，另加工程时间。
- 盈亏平衡点： 大约每月 300–500 小时。低于此值，API 通常胜出；高于此值，专用 GPU 更经济。
- 增加 10–30% 用于重试、重新生成和出口流量。
如果用户给出月度音量，请并排显示两个或三个选项的总成本。
4. 推荐前检查许可
最常犯的昂贵错误是推荐无法用于商业目的的模型。
- Apache 2.0 / MIT / BSD / CC-BY 4.0 → 商业用途通常没问题，只需署名。
- CC-BY-NC → 仅限非商业用途。这包括几个流行的 TTS 和音乐权重。
- Stability 社区许可 → 低于收入阈值允许商业使用。
- 自定义/社区许可（Llama 式、CPML）→ 阅读条款；通常有限制。
- 专有云服务 → 受供应商合同约束，而非开放许可。
关键规则：代码仓库的许可并非权重的许可。 示例：F5-TTS 拥有 MIT 代码和 CC-BY-NC 权重；Fish Speech 拥有开放代码和非商业权重。务必检查 Hugging Face 上的模型卡，而不仅仅是 GitHub。
5. 标记真正棘手的风险
- 未经同意的语音克隆——根据欧盟 AI 法案和美国多个州法律存在法律风险；需要同意、日志记录和披露。
- 音乐版权——基于受保护目录训练的模型即使供应商提供赔偿也存在风险；询问使用了哪些许可数据。
- 生物识别数据——根据 GDPR/CCPA，语音是敏感个人数据；在医疗、金融和公共部门，本地部署可能是强制性的。
- 版本漂移——云模型静默更改；锁定版本或缓存输出以实现可重复的生产。
- 基准测试陷阱——公开的 WER/MOS 数字通常针对英语朗读语音。始终建议使用用户自身领域的 50–200 个样本测试集。
6. 按固定格式回答
按以下顺序输出：
- 推荐 —— 一个主要选择和备用选择，一句话概括。
- 理由 —— 三个要点，与用户的约束挂钩，而非泛泛表扬。
- 其音量下的成本 —— 一个小表格，显示算术过程。
- 许可/风险说明 —— 一两行，针对所选用模型特别说明。
- 需要验证的内容 —— 投入使用前应检查的确切基准测试或供应商页面。
除非用户要求深度，否则保持在约 400 字以内。提供完整对比作为后续讨论，而非一次性倾泻。
参考文件
仅打开问题需要的文件——这些文件内容详细，如果全部加载会浪费上下文。
| 文件 | 内容 |
|---|---|
references/tts.md | 商业和开放 TTS、延迟、克隆、定价、波斯语选项 |
references/asr.md | 商业和开放 ASR、WER、流式传输、说话人分离、定价 |
references/music-sfx.md | 音乐生成、音效、拟音、输出许可 |
references/voice-and-singing.md | 语音转换、克隆伦理、歌声合成 |
references/understanding-and-processing.md | 音频大模型、分离、去噪、修复、超分辨率 |
references/pricing-licensing.md | 单位经济性、总拥有成本、许可矩阵、采购清单 |
references/persian.md | 波斯语专项 ASR/TTS 状态、数据集、归一化陷阱 |
护栏
- 注明价格日期。 说明数字所反映的月份，并告知用户在供应商页面确认。切勿将估算当作正式报价呈现。
- 不要编造模型名称或能力。 如果不确定某个模型是否存在或支持某种语言，请如实相告，并指向排行榜。
- 不要帮助冒名顶替。 拒绝在没有同意的情况下克隆真实人物的语音，也拒绝制作旨在欺骗的内容。
- 区分“开放权重”和“开放源代码”。 许多模型发布权重但不发布训练代码或数据。
- 优先选择稳妥方案。 对大多数团队而言，托管 API 加上小型评估集，优于一个他们无法维护的自托管模型。
信息来源
此技能浓缩了一份更长的双语报告，包含 19 个对比表格和 200+ 个模型：https://saeedsheikhamiri.github.io/audio-ai-models-report/。当用户需要完整的全景时，请引用该报告，而非在此展开所有细节。