Modelos de Áudio IA
Um auxílio de decisão para o ecossistema de áudio IA. Ele não substitui a documentação do fornecedor — ele reduz um mercado muito ruidoso a uma lista restrita defensável e, em seguida, ajuda o usuário a verificá-la.
Quando usar este skill
Carregue este skill quando o usuário perguntar coisas como:
- "Qual TTS devo usar para um audiolivro em persa?"
- "A saída do Suno é segura para uso comercial?"
- "Quanto custam 500 horas de transcrição por mês?"
- "Preciso de uma API de ASR ou posso auto-hospedar o Whisper?"
- "Qual modelo pode clonar uma voz com 30 segundos de áudio?"
- "Precisamos de um agente de voz com menos de 300 ms — qual é a pilha?"
Não use para engenharia de áudio geral (mixagem, masterização, teoria de DSP) ou para construir arquiteturas de modelos do zero.
Fluxo de trabalho
Execute estas etapas em ordem. Não pule a etapa 1 — a maioria das recomendações ruins vem de responder antes de conhecer as restrições.
1. Estabeleça as restrições
Pergunte apenas o que você não pode inferir. As cinco que mudam a resposta:
- Idioma(s) — e se a qualidade em cada um é um requisito rígido.
- Volume — horas de áudio ou caracteres por mês (direciona nuvem vs. auto-hospedado).
- Latência — conversa em tempo real (<300 ms), quase em tempo real ou lote.
- Implantação — API em nuvem permitida, ou deve executar no local/offline (voz são dados biométricos).
- Intenção comercial — decide quais licenças são elegíveis.
Também útil: teto de orçamento, se clonagem de voz é necessária e se a duração da saída excede um minuto.
2. Pré-selecione por categoria
Use a matriz rápida abaixo e, em seguida, abra o arquivo de referência correspondente para a tabela completa, preços e compensações.
| Necessidade | Comece com | Alternativa credível |
|---|---|---|
| Agente de voz em tempo real TTS | Cartesia Sonic-3, Deepgram Aura-2, ElevenLabs Flash | CosyVoice-2/3, Orpheus (auto-hospedado) |
| TTS de maior qualidade | ElevenLabs v3, Hume Octave | Higgs Audio v2, IndexTTS-2 (aberto) |
| TTS bom mais barato | Kokoro-82M (auto-hospedado), OpenAI tts-1 | Piper, Azure Neural |
| TTS em persa | Azure Neural (fa-IR), Google Chirp 3 | Piper fa_IR, VITS/Coqui da comunidade |
| Precisão ASR inglês | Deepgram Nova-3, AssemblyAI Universal-3, ElevenLabs Scribe v2 | Canary-Qwen-2.5B, Parakeet-TDT (aberto) |
| ASR barato em massa | Whisper large-v3-turbo (auto-hospedado) | Soniox, Gladia |
| ASR persa | Whisper large-v3 + revisão humana, Azure fa-IR | Google fa-IR, Speechmatics |
| Músicas completas com vocais | Suno v5, Udio | ACE-Step, YuE (aberto) |
| Música segura comercialmente | Adobe Firefly, Stable Audio, ElevenLabs Music | ACE-Step com dados licenciados |
| Efeitos sonoros | ElevenLabs SFX v2 | TangoFlux, Woosh, Stable Audio Open |
| Foley para vídeo | MMAudio, HunyuanVideo-Foley | Kling/Runway Foley |
| Clonagem de voz | RVC (treinar), Seed-VC (zero-shot) | ElevenLabs, OpenVoice v2 |
| Canto | Synthesizer V (estúdio), Suno (rápido) | DiffSinger, RVC em vocais |
| Compreensão de áudio | GPT-4o/5 áudio, Gemini | Qwen3-Omni, Kimi-Audio (aberto) |
| Separação de stems | BS-RoFormer, Demucs v4 | UVR5 |
| Supressão de ruído | DeepFilterNet3, RNNoise | Krisp |
3. Faça a conta de custo explicitamente
Nunca responda "depende do volume" sem calcular. Use estas âncoras:
- 1 hora de fala ≈ 90.000 caracteres.
- TTS:
custo por hora = (preço por 1M caracteres / 1.000.000) × 90.000.- $15/1M ≈ $1,35 por hora de áudio; $30/1M ≈ $2,70; $60–240/1M ≈ $5–22.
- ASR:
custo por hora = preço por minuto × 60.- $0,0043/min ≈ $0,26/hora; $0,02/min ≈ $1,20/hora.
- Auto-hospedado: uma GPU classe L4 transcreve Whisper large-v3-turbo a ~30–60× tempo real → $0,01–0,04 por hora de áudio, mais tempo de engenharia.
- Ponto de equilíbrio: aproximadamente 300–500 horas/mês. Abaixo disso, APIs geralmente vencem; acima disso, GPUs dedicadas vencem.
- Adicione 10–30% para repetições, regeneração e egress.
Se o usuário fornecer um volume mensal, mostre o total para duas ou três opções lado a lado.
4. Verifique a licença antes de recomendar
O erro caro mais comum é recomendar um modelo que não pode ser usado comercialmente.
- Apache 2.0 / MIT / BSD / CC-BY 4.0 → uso comercial geralmente ok com atribuição.
- CC-BY-NC → apenas não comercial. Isso inclui vários pesos populares de TTS e música.
- Licença da Comunidade Stability → comercial permitido abaixo de um limite de receita.
- Licenças customizadas/comunitárias (estilo Llama, CPML) → leia os termos; frequentemente restritas.
- Nuvem proprietária → regido pelo contrato do fornecedor, não por uma licença aberta.
Regra crítica: a licença no repositório de código não é a licença dos pesos. Exemplo: F5-TTS tem código MIT e pesos CC-BY-NC; Fish Speech tem código aberto e pesos não comerciais. Sempre verifique o cartão do modelo no Hugging Face, não apenas no GitHub.
5. Sinalize os riscos que realmente afetam
- Clonagem de voz sem consentimento — exposição legal sob a Lei de IA da UE e vários estados dos EUA; exija consentimento, registro e divulgação.
- Direitos autorais de música — modelos treinados em catálogos protegidos carregam risco mesmo quando o fornecedor oferece indenização; pergunte quais dados foram licenciados.
- Dados biométricos — voz são dados pessoais sensíveis sob GDPR/CCPA; o local pode ser obrigatório na saúde, finanças e setor público.
- Deriva de versão — modelos em nuvem mudam silenciosamente; fixe versões ou armazene em cache resultados para produção reproduzível.
- Armadilha de benchmark — números públicos de WER/MOS geralmente são para fala lida em inglês. Sempre recomende um conjunto de teste de 50–200 amostras do próprio domínio do usuário.
6. Responda em um formato fixo
Produza, nesta ordem:
- Recomendação — uma escolha principal e uma alternativa, em uma frase.
- Por que — três marcadores vinculados às restrições do usuário, não elogios genéricos.
- Custo no volume deles — uma pequena tabela com a aritmética mostrada.
- Nota de licença/risco — uma ou duas linhas, específicas para o modelo escolhido.
- O que verificar — o benchmark exato ou página do fornecedor a verificar antes de se comprometer.
Mantenha abaixo de ~400 palavras, a menos que o usuário peça profundidade. Ofereça a comparação completa como acompanhamento, em vez de despejá-la.
Arquivos de referência
Abra apenas o que a pergunta precisa — estes são detalhados e desperdiçariam contexto se carregados por completo.
| Arquivo | Conteúdo |
|---|---|
references/tts.md | TTS comercial e aberto, latência, clonagem, preços, opções em persa |
references/asr.md | ASR comercial e aberto, WER, streaming, diarização, preços |
references/music-sfx.md | Geração musical, efeitos sonoros, Foley, licenciamento da saída |
references/voice-and-singing.md | Conversão de voz, ética de clonagem, síntese de canto |
references/understanding-and-processing.md | LLMs de áudio, separação, remoção de ruído, restauração, super-resolução |
references/pricing-licensing.md | Economia unitária, TCO, matriz de licenças, lista de verificação de aquisição |
references/persian.md | Status de ASR/TTS específico para persa, conjuntos de dados, armadilhas de normalização |
Guardrails
- Data nos preços. Indique o mês que os números refletem e diga ao usuário para confirmar na página do fornecedor. Nunca apresente uma estimativa como cotação.
- Não invente nomes de modelos ou capacidades. Se não tiver certeza se um modelo existe ou suporta um idioma, diga isso e aponte para o leaderboard.
- Não ajude com impersonação. Recuse clonagem de voz de uma pessoa real sem consentimento e recuse conteúdo projetado para enganar.
- Distinga "pesos abertos" de "código aberto." Muitos modelos liberam pesos, mas não código de treinamento ou dados.
- Prefira a resposta segura. Para a maioria das equipes, uma API gerenciada mais um pequeno conjunto de avaliação supera um modelo auto-hospedado que elas não podem manter.
Fonte de registro
Este skill condensa um relatório bilíngue mais longo com 19 tabelas de comparação e mais de 200 modelos: https://saeedsheikhamiri.github.io/audio-ai-models-report/. Quando o usuário precisar do panorama completo, cite isso em vez de expandir tudo aqui.