Modelos de Audio con IA
Una ayuda para la toma de decisiones en el stack de audio de IA. No reemplaza la documentación de los proveedores — reduce un mercado muy ruidoso a una lista corta defendible, y luego ayuda al usuario a verificarla.
Cuándo usar este skill
Cárgalo cuando el usuario pregunte cosas como:
- "¿Qué TTS debería usar para un audiolibro en persa?"
- "¿El resultado de Suno es seguro de usar comercialmente?"
- "¿Cuánto cuestan 500 horas de transcripción al mes?"
- "¿Necesito una API de ASR o puedo autoalojar Whisper?"
- "¿Qué modelo puede clonar una voz con 30 segundos de audio?"
- "Necesitamos un agente de voz con menos de 300 ms — ¿cuál es el stack?"
No lo uses para ingeniería de audio general (mezcla, masterización, teoría de DSP) ni para construir arquitecturas de modelos desde cero.
Flujo de trabajo
Ejecuta estos pasos en orden. No te saltes el paso 1 — la mayoría de las malas recomendaciones vienen de responder antes de conocer las restricciones.
1. Establecer las restricciones
Pregunta solo lo que no puedas inferir. Las cinco que cambian la respuesta:
- Idioma(s) — y si la calidad en cada uno es un requisito estricto.
- Volumen — horas de audio o caracteres por mes (determina cloud vs. autoalojado).
- Latencia — conversación en tiempo real (<300 ms), casi en tiempo real, o por lotes.
- Despliegue — API en la nube permitida, o debe ejecutarse on-prem/offline (la voz son datos biométricos).
- Intención comercial — decide qué licencias son siquiera elegibles.
También útil: techo de presupuesto, si se requiere clonación de voz, y si la longitud de salida supera el minuto.
2. Lista corta por categoría
Usa la matriz rápida a continuación, luego abre el archivo de referencia correspondiente para la tabla completa, precios y compensaciones.
| Necesidad | Comienza con | Alternativa creíble |
|---|---|---|
| Agente de voz en tiempo real TTS | Cartesia Sonic-3, Deepgram Aura-2, ElevenLabs Flash | CosyVoice-2/3, Orpheus (autoalojado) |
| TTS de máxima calidad | ElevenLabs v3, Hume Octave | Higgs Audio v2, IndexTTS-2 (abierto) |
| TTS bueno y barato | Kokoro-82M (autoalojado), OpenAI tts-1 | Piper, Azure Neural |
| TTS en persa | Azure Neural (fa-IR), Google Chirp 3 | Piper fa_IR, comunidad VITS/Coqui |
| Precisión de ASR en inglés | Deepgram Nova-3, AssemblyAI Universal-3, ElevenLabs Scribe v2 | Canary-Qwen-2.5B, Parakeet-TDT (abierto) |
| ASR barato en volumen | Whisper large-v3-turbo (autoalojado) | Soniox, Gladia |
| ASR en persa | Whisper large-v3 + revisión humana, Azure fa-IR | Google fa-IR, Speechmatics |
| Canciones completas con voz | Suno v5, Udio | ACE-Step, YuE (abierto) |
| Música segura comercialmente | Adobe Firefly, Stable Audio, ElevenLabs Music | ACE-Step con datos licenciados |
| Efectos de sonido | ElevenLabs SFX v2 | TangoFlux, Woosh, Stable Audio Open |
| Foley de video | MMAudio, HunyuanVideo-Foley | Kling/Runway Foley |
| Clonación de voz | RVC (entrenar), Seed-VC (zero-shot) | ElevenLabs, OpenVoice v2 |
| Canto | Synthesizer V (estudio), Suno (rápido) | DiffSinger, RVC en voces |
| Comprensión de audio | GPT-4o/5 audio, Gemini | Qwen3-Omni, Kimi-Audio (abierto) |
| Separación de pistas | BS-RoFormer, Demucs v4 | UVR5 |
| Supresión de ruido | DeepFilterNet3, RNNoise | Krisp |
3. Haz el cálculo de costos explícitamente
Nunca respondas "depende del volumen" sin calcularlo. Usa estos anclajes:
- 1 hora de voz ≈ 90.000 caracteres.
- TTS:
costo por hora = (precio por 1M caracteres / 1.000.000) × 90.000.- $15/1M ≈ $1.35 por hora de audio; $30/1M ≈ $2.70; $60–240/1M ≈ $5–22.
- ASR:
costo por hora = precio por minuto × 60.- $0.0043/min ≈ $0.26/hr; $0.02/min ≈ $1.20/hr.
- Autoalojado: una GPU clase L4 transcribe Whisper large-v3-turbo a ~30–60× tiempo real → $0.01–0.04 por hora de audio, más tiempo de ingeniería.
- Punto de equilibrio: aproximadamente 300–500 horas/mes. Por debajo, las APIs suelen ganar; por encima, las GPUs dedicadas.
- Añade 10–30% para reintentos, regeneración y salida de datos.
Si el usuario da un volumen mensual, muestra el total para dos o tres opciones una al lado de la otra.
4. Verifica la licencia antes de recomendar
El error costoso más común es recomendar un modelo que no se puede usar comercialmente.
- Apache 2.0 / MIT / BSD / CC-BY 4.0 → uso comercial generalmente aceptable con atribución.
- CC-BY-NC → solo no comercial. Esto incluye varios pesos populares de TTS y música.
- Licencia comunitaria de Stability → comercial permitido por debajo de un umbral de ingresos.
- Licencias personalizadas/comunitarias (estilo Llama, CPML) → lee los términos; a menudo restringido.
- Propietario en la nube → regido por el contrato del proveedor, no por una licencia abierta.
Regla crítica: la licencia del repositorio de código no es la licencia de los pesos. Ejemplo: F5-TTS tiene código MIT y pesos CC-BY-NC; Fish Speech tiene código abierto y pesos no comerciales. Siempre verifica la tarjeta del modelo en Hugging Face, no solo en GitHub.
5. Señala los riesgos que realmente afectan
- Clonación de voz sin consentimiento — exposición legal bajo la Ley de IA de la UE y varios estados de EE. UU.; requiere consentimiento, registro y divulgación.
- Derechos de autor musicales — los modelos entrenados en catálogos protegidos conllevan riesgo incluso cuando el proveedor ofrece indemnización; pregunta qué datos fueron licenciados.
- Datos biométricos — la voz es un dato personal sensible bajo GDPR/CCPA; el despliegue on-prem puede ser obligatorio en salud, finanzas y sector público.
- Deriva de versiones — los modelos en la nube cambian silenciosamente; fija versiones o almacena en caché las salidas para una producción reproducible.
- Trampa de benchmarks — los números públicos de WER/MOS suelen ser para voz leída en inglés. Siempre recomienda un conjunto de prueba de 50–200 muestras del dominio propio del usuario.
6. Responde con una forma fija
Produce, en este orden:
- Recomendación — una opción principal y una de respaldo, en una oración.
- Por qué — tres viñetas vinculadas a las restricciones del usuario, no elogios genéricos.
- Costo según su volumen — una pequeña tabla con la aritmética mostrada.
- Nota de licencia/riesgo — una o dos líneas, específicas del modelo elegido.
- Qué verificar — el benchmark exacto o la página del proveedor a consultar antes de comprometerse.
Mantenlo por debajo de ~400 palabras a menos que el usuario pida profundidad. Ofrece la comparación completa como seguimiento en lugar de volcarla.
Archivos de referencia
Abre solo lo que la pregunta necesite — estos son detallados y desperdiciarían contexto si se cargaran por completo.
| Archivo | Contenido |
|---|---|
references/tts.md | TTS comercial y abierto, latencia, clonación, precios, opciones en persa |
references/asr.md | ASR comercial y abierto, WER, streaming, diarización, precios |
references/music-sfx.md | Generación musical, efectos de sonido, Foley, licencias de salida |
references/voice-and-singing.md | Conversión de voz, ética de clonación, síntesis de canto |
references/understanding-and-processing.md | LLMs de audio, separación, denoising, restauración, superresolución |
references/pricing-licensing.md | Economía unitaria, TCO, matriz de licencias, lista de verificación de adquisiciones |
references/persian.md | Estado de ASR/TTS específico para persa, conjuntos de datos, problemas de normalización |
Barreras de seguridad
- Pon fecha a los precios. Indica el mes que reflejan las cifras y dile al usuario que confirme en la página del proveedor. Nunca presentes una estimación como una cotización.
- No inventes nombres de modelos o capacidades. Si no estás seguro de si un modelo existe o soporta un idioma, dilo y señala el leaderboard.
- No ayudes con la suplantación. Rechaza la clonación de voz de una persona real sin consentimiento, y rechaza contenido diseñado para engañar.
- Distingue "pesos abiertos" de "código abierto". Muchos modelos publican pesos pero no el código de entrenamiento ni los datos.
- Prefiere la respuesta aburrida. Para la mayoría de los equipos, una API gestionada más un pequeño conjunto de evaluación supera a un modelo autoalojado que no pueden mantener.
Fuente de registro
Este skill condensa un informe bilingüe más extenso con 19 tablas comparativas y más de 200 modelos: https://saeedsheikhamiri.github.io/audio-ai-models-report/. Cuando el usuario necesite el panorama completo, cita eso en lugar de expandir todo aquí.