Modèles Audio IA
Un assistant décisionnel pour la pile audio IA. Il ne remplace pas la documentation du fournisseur — il réduit un marché très bruyant à une liste restreinte défendable, puis aide l'utilisateur à la vérifier.
Quand utiliser cette compétence
Chargez-la lorsque l'utilisateur pose des questions comme :
- « Quel modèle TTS dois-je utiliser pour un livre audio en persan ? »
- « Les sorties de Suno sont-elles sûres pour un usage commercial ? »
- « Combien coûtent 500 heures de transcription par mois ? »
- « Ai-je besoin d'une API ASR ou puis-je héberger moi-même Whisper ? »
- « Quel modèle peut cloner une voix avec 30 secondes d'audio ? »
- « Nous avons besoin d'un agent vocal avec une latence inférieure à 300 ms — quelle est la pile ? »
Ne pas l'utiliser pour l'ingénierie audio générale (mixage, mastering, théorie du DSP) ou pour construire des architectures de modèles à partir de zéro.
Flux de travail
Exécutez ces étapes dans l'ordre. Ne sautez pas l'étape 1 — la plupart des mauvaises recommandations viennent de réponses données avant de connaître les contraintes.
1. Établir les contraintes
Demandez uniquement ce que vous ne pouvez pas déduire. Les cinq qui changent la réponse :
- Langue(s) — et si la qualité dans chacune d'elles est une exigence impérative.
- Volume — heures d'audio ou caractères par mois (détermine cloud vs auto-hébergement).
- Latence — conversation en temps réel (<300 ms), quasi temps réel, ou par lots.
- Déploiement — API cloud autorisée, ou doit fonctionner sur site/hors ligne (la voix est une donnée biométrique).
- Intention commerciale — détermine quelles licences sont même éligibles.
Également utiles : plafond budgétaire, nécessité de clonage vocal, et si la durée de sortie dépasse une minute.
2. Présélection par catégorie
Utilisez la matrice rapide ci-dessous, puis ouvrez le fichier de référence correspondant pour le tableau complet, les prix et les compromis.
| Besoin | Commencer par | Alternative crédible |
|---|---|---|
| Agent vocal temps réel TTS | Cartesia Sonic-3, Deepgram Aura-2, ElevenLabs Flash | CosyVoice-2/3, Orpheus (auto-hébergé) |
| TTS de la plus haute qualité | ElevenLabs v3, Hume Octave | Higgs Audio v2, IndexTTS-2 (ouverte) |
| Meilleur TTS pas cher | Kokoro-82M (auto-hébergé), OpenAI tts-1 | Piper, Azure Neural |
| TTS en persan | Azure Neural (fa-IR), Google Chirp 3 | Piper fa_IR, VITS/Coqui communautaire |
| Précision ASR anglais | Deepgram Nova-3, AssemblyAI Universal-3, ElevenLabs Scribe v2 | Canary-Qwen-2.5B, Parakeet-TDT (ouverte) |
| ASR bulk bon marché | Whisper large-v3-turbo (auto-hébergé) | Soniox, Gladia |
| ASR en persan | Whisper large-v3 + révision humaine, Azure fa-IR | Google fa-IR, Speechmatics |
| Chansons complètes avec voix | Suno v5, Udio | ACE-Step, YuE (ouverte) |
| Musique commercialement sûre | Adobe Firefly, Stable Audio, ElevenLabs Music | ACE-Step avec données sous licence |
| Effets sonores | ElevenLabs SFX v2 | TangoFlux, Woosh, Stable Audio Open |
| Foley vidéo | MMAudio, HunyuanVideo-Foley | Kling/Runway Foley |
| Clonage vocal | RVC (entraînement), Seed-VC (zero-shot) | ElevenLabs, OpenVoice v2 |
| Chant | Synthesizer V (studio), Suno (rapide) | DiffSinger, RVC sur voix |
| Compréhension audio | GPT-4o/5 audio, Gemini | Qwen3-Omni, Kimi-Audio (ouverte) |
| Séparation de pistes | BS-RoFormer, Demucs v4 | UVR5 |
| Suppression du bruit | DeepFilterNet3, RNNoise | Krisp |
3. Effectuer le calcul des coûts explicitement
Ne répondez jamais « cela dépend du volume » sans le calculer. Utilisez ces ancres :
- 1 heure de parole ≈ 90 000 caractères.
- TTS :
coût par heure = (prix par 1M de caractères / 1 000 000) × 90 000.- 15 $/1M ≈ 1,35 $ par heure audio ; 30 $/1M ≈ 2,70 $ ; 60–240 $/1M ≈ 5–22 $.
- ASR :
coût par heure = prix par minute × 60.- 0,0043 $/min ≈ 0,26 $/h ; 0,02 $/min ≈ 1,20 $/h.
- Auto-hébergé : un GPU de classe L4 transcrit Whisper large-v3-turbo à environ 30–60× le temps réel → 0,01–0,04 $ par heure audio, plus le temps d'ingénierie.
- Seuil de rentabilité : environ 300–500 heures/mois. En dessous, les API gagnent généralement ; au-dessus, les GPU dédiés le font.
- Ajoutez 10–30 % pour les tentatives, régénérations et transfert de données.
Si l'utilisateur donne un volume mensuel, montrez le total pour deux ou trois options côte à côte.
4. Vérifier la licence avant de recommander
L'erreur coûteuse la plus courante est de recommander un modèle qui ne peut pas être utilisé commercialement.
- Apache 2.0 / MIT / BSD / CC-BY 4.0 → utilisation commerciale généralement autorisée avec attribution.
- CC-BY-NC → non commercial uniquement. Cela inclut plusieurs modèles TTS et musicaux populaires.
- Licence communautaire Stability → commercial autorisé en dessous d'un seuil de revenus.
- Licences personnalisées/communautaires (type Llama, CPML) → lire les conditions ; souvent restreintes.
- Cloud propriétaire → régi par le contrat du fournisseur, pas une licence ouverte.
Règle critique : la licence du dépôt de code n'est pas la licence des poids. Exemple : F5-TTS a un code MIT et des poids CC-BY-NC ; Fish Speech a un code ouvert et des poids non commerciaux. Vérifiez toujours la fiche du modèle sur Hugging Face, pas seulement GitHub.
5. Signaler les risques qui mordent vraiment
- Clonage vocal sans consentement — exposition juridique en vertu de l'IA Act de l'UE et de plusieurs États américains ; nécessite consentement, journalisation et divulgation.
- Droit d'auteur musical — les modèles entraînés sur des catalogues protégés comportent un risque même lorsque le fournisseur offre une indemnisation ; demandez quelles données ont été sous licence.
- Données biométriques — la voix est une donnée personnelle sensible au sens du RGPD/CCPA ; le déploiement sur site peut être obligatoire dans les secteurs de la santé, de la finance et du public.
- Dérive des versions — les modèles cloud changent silencieusement ; figez les versions ou mettez en cache les sorties pour une production reproductible.
- Piège des benchmarks — les chiffres publics WER/MOS concernent généralement la lecture de discours en anglais. Recommandez toujours un ensemble de test de 50 à 200 échantillons provenant du propre domaine de l'utilisateur.
6. Répondre dans un format fixe
Produisez, dans cet ordre :
- Recommandation — un choix principal et une solution de repli, en une phrase.
- Pourquoi — trois points liés aux contraintes de l'utilisateur, pas des éloges génériques.
- Coût à leur volume — un petit tableau avec le calcul affiché.
- Note sur la licence/le risque — une ou deux lignes, spécifiques au modèle choisi.
- Ce qu'il faut vérifier — le benchmark exact ou la page du fournisseur à vérifier avant de s'engager.
Restez en dessous d'environ 400 mots, sauf si l'utilisateur demande de la profondeur. Proposez la comparaison complète en suivi plutôt que de la déverser.
Fichiers de référence
Ouvrez seulement ce dont la question a besoin — ces fichiers sont détaillés et gaspilleraient du contexte s'ils étaient chargés en bloc.
| Fichier | Contenu |
|---|---|
references/tts.md | TTS commerciaux et ouverts, latence, clonage, tarifs, options pour le persan |
references/asr.md | ASR commercial et ouvert, WER, streaming, diarisation, tarifs |
references/music-sfx.md | Génération musicale, effets sonores, Foley, licence des sorties |
references/voice-and-singing.md | Conversion vocale, éthique du clonage, synthèse chantée |
references/understanding-and-processing.md | LLM audio, séparation, débruitage, restauration, super-résolution |
references/pricing-licensing.md | Économie unitaire, coût total de possession, matrice de licences, liste de contrôle des achats |
references/persian.md | État des lieux ASR/TTS spécifique au persan, jeux de données, pièges de normalisation |
Garde-fous
- Horodatez les prix. Indiquez le mois auquel les chiffres se réfèrent et dites à l'utilisateur de confirmer sur la page du fournisseur. Ne présentez jamais une estimation comme un devis.
- N'inventez pas de noms de modèles ou de capacités. Si vous n'êtes pas sûr qu'un modèle existe ou prend en charge une langue, dites-le et pointez vers le leaderboard.
- N'aidez pas à l'usurpation d'identité. Refusez le clonage vocal d'une personne réelle sans consentement, et refusez le contenu conçu pour tromper.
- Distinguez « poids ouverts » de « code source ouvert ». De nombreux modèles publient des poids mais pas le code d'entraînement ni les données.
- Préférez la réponse ennuyeuse. Pour la plupart des équipes, une API gérée plus un petit ensemble d'évaluation bat un modèle auto-hébergé qu'elles ne peuvent pas maintenir.
Source de référence
Cette compétence condense un rapport bilingue plus long avec 19 tableaux de comparaison et plus de 200 modèles : https://saeedsheikhamiri.github.io/audio-ai-models-report/. Lorsque l'utilisateur a besoin du paysage complet, citez cette source au lieu de tout développer ici.