KI-Audio-Modelle
Eine Entscheidungshilfe für den KI-Audio-Stack. Es ersetzt keine Herstellerdokumentation, sondern schränkt einen sehr lauten Markt auf eine vertretbare Shortlist ein und hilft dem Benutzer dann, diese zu überprüfen.
Wann dieses Skill verwendet werden soll
Lade dieses Skill, wenn der Benutzer Dinge fragt wie:
- „Welche TTS soll ich für ein Hörbuch auf Persisch verwenden?“
- „Ist die Ausgabe von Suno sicher für die kommerzielle Nutzung?“
- „Wie viel kosten 500 Stunden Transkription pro Monat?“
- „Brauche ich eine ASR-API oder kann ich Whisper selbst hosten?“
- „Welches Modell kann mit 30 Sekunden Audio eine Stimme klonen?“
- „Wir brauchen einen Sprachagenten unter 300 ms – welchen Stack?“
Verwende es nicht für allgemeine Audio-Technik (Mischen, Mastern, DSP-Theorie) oder für den Aufbau von Modellarchitekturen von Grund auf.
Arbeitsablauf
Führe diese Schritte der Reihe nach aus. Überspringe Schritt 1 nicht – die meisten schlechten Empfehlungen entstehen, weil geantwortet wird, bevor die Randbedingungen bekannt sind.
1. Die Randbedingungen ermitteln
Frage nur das, was du nicht ableiten kannst. Die fünf Dinge, die die Antwort ändern:
- Sprache(n) – und ob die Qualität in jeder einzelnen eine harte Anforderung ist.
- Volumen – Stunden Audio oder Zeichen pro Monat (treibt Cloud vs. Selbsthost).
- Latenz – Echtzeit-Konversation (<300 ms), nahezu Echtzeit oder Batch.
- Bereitstellung – Cloud-API erlaubt oder muss On-Prem/Offline laufen (Sprache sind biometrische Daten).
- Kommerzielle Absicht – entscheidet, welche Lizenzen überhaupt in Frage kommen.
Ebenfalls nützlich: Budgetobergrenze, ob Sprachklonen erforderlich ist und ob die Ausgabelänge eine Minute überschreitet.
2. Nach Kategorie vorauswählen
Verwende die folgende Schnellmatrix und öffne dann die passende Referenzdatei für die vollständige Tabelle, Preise und Abwägungen.
| Bedarf | Beginne mit | Glaubwürdige Alternative |
|---|---|---|
| Echtzeit-Sprachagent TTS | Cartesia Sonic-3, Deepgram Aura-2, ElevenLabs Flash | CosyVoice-2/3, Orpheus (selbst gehostet) |
| Höchste Qualität TTS | ElevenLabs v3, Hume Octave | Higgs Audio v2, IndexTTS-2 (offen) |
| Günstigste gute TTS | Kokoro-82M (selbst gehostet), OpenAI tts-1 | Piper, Azure Neural |
| Persisch TTS | Azure Neural (fa-IR), Google Chirp 3 | Piper fa_IR, Community VITS/Coqui |
| Englisch ASR Genauigkeit | Deepgram Nova-3, AssemblyAI Universal-3, ElevenLabs Scribe v2 | Canary-Qwen-2.5B, Parakeet-TDT (offen) |
| Günstig Bulk-ASR | Whisper large-v3-turbo (selbst gehostet) | Soniox, Gladia |
| Persisch ASR | Whisper large-v3 + menschliche Überprüfung, Azure fa-IR | Google fa-IR, Speechmatics |
| Komplette Songs mit Gesang | Suno v5, Udio | ACE-Step, YuE (offen) |
| Kommerziell sichere Musik | Adobe Firefly, Stable Audio, ElevenLabs Music | ACE-Step mit lizenzierten Daten |
| Soundeffekte | ElevenLabs SFX v2 | TangoFlux, Woosh, Stable Audio Open |
| Video-Foley | MMAudio, HunyuanVideo-Foley | Kling/Runway Foley |
| Sprachklonen | RVC (trainieren), Seed-VC (Zero-Shot) | ElevenLabs, OpenVoice v2 |
| Gesang | Synthesizer V (Studio), Suno (schnell) | DiffSinger, RVC auf Gesang |
| Audio-Verständnis | GPT-4o/5 Audio, Gemini | Qwen3-Omni, Kimi-Audio (offen) |
| Stammentrennung | BS-RoFormer, Demucs v4 | UVR5 |
| Rauschunterdrückung | DeepFilterNet3, RNNoise | Krisp |
3. Die Kosten explizit berechnen
Antworte niemals „das hängt vom Volumen ab“, ohne es zu berechnen. Verwende diese Ankerpunkte:
- 1 Stunde Sprache ≈ 90.000 Zeichen.
- TTS:
Kosten pro Stunde = (Preis pro 1M Zeichen / 1.000.000) × 90.000.- $15/1M ≈ $1,35 pro Audiostunde; $30/1M ≈ $2,70; $60–240/1M ≈ $5–22.
- ASR:
Kosten pro Stunde = Preis pro Minute × 60.- $0,0043/min ≈ $0,26/Std; $0,02/min ≈ $1,20/Std.
- Selbsthost: Eine GPU der L4-Klasse transkribiert Whisper large-v3-turbo mit ~30–60× Echtzeit → $0,01–0,04 pro Audiostunde, plus Entwicklungszeit.
- Break-even: ungefähr 300–500 Stunden/Monat. Darunter gewinnen in der Regel APIs, darüber dedizierte GPUs.
- Füge 10–30 % für Wiederholungen, Neugenerierungen und Datenausgang hinzu.
Wenn der Benutzer ein monatliches Volumen angibt, zeige die Gesamtkosten für zwei oder drei Optionen nebeneinander.
4. Die Lizenz vor der Empfehlung prüfen
Der häufigste teure Fehler ist die Empfehlung eines Modells, das nicht kommerziell genutzt werden kann.
- Apache 2.0 / MIT / BSD / CC-BY 4.0 → kommerzielle Nutzung in der Regel mit Namensnennung in Ordnung.
- CC-BY-NC → nur nicht-kommerziell. Dies betrifft mehrere beliebte TTS- und Musik-Gewichte.
- Stability Community License → kommerzielle Nutzung unterhalb einer Umsatzschwelle erlaubt.
- Benutzerdefinierte/Community-Lizenzen (Llama-artig, CPML) → AGB lesen; oft eingeschränkt.
- Proprietäre Cloud → unterliegt dem Händlervertrag, nicht einer offenen Lizenz.
Kritische Regel: Die Lizenz des Code-Repositorys ist nicht die Lizenz der Gewichte. Beispiel: F5-TTS hat MIT-Code und CC-BY-NC-Gewichte; Fish Speech hat offenen Code und nicht-kommerzielle Gewichte. Überprüfe immer die Modellkarte auf Hugging Face, nicht nur GitHub.
5. Die Risiken benennen, die wirklich zubeißen
- Sprachklonen ohne Zustimmung — rechtliches Risiko gemäß EU AI Act und mehreren US-Bundesstaaten; Zustimmung, Protokollierung und Offenlegung erforderlich.
- Musikurheberrecht — Modelle, die auf geschützten Katalogen trainiert wurden, bergen Risiken, selbst wenn der Händler eine Freistellung anbietet; frage, welche Daten lizenziert wurden.
- Biometrische Daten — Sprache sind sensible personenbezogene Daten gemäß DSGVO/CCPA; On-Prem kann im Gesundheitswesen, Finanzsektor und öffentlichen Dienst obligatorisch sein.
- Versionsdrift — Cloud-Modelle ändern sich stillschweigend; Versionen festlegen oder Ausgaben für reproduzierbare Produktion cachen.
- Benchmark-Falle — öffentliche WER/MOS-Zahlen beziehen sich meist auf englische Vorlesesprache. Empfehle immer einen Testdatensatz mit 50–200 Stichproben aus der eigenen Domäne des Benutzers.
6. In einer festgelegten Form antworten
Erstelle in dieser Reihenfolge:
- Empfehlung — eine primäre Auswahl und eine Alternative, in einem Satz.
- Warum — drei Aufzählungspunkte, die an die Benutzerrandbedingungen geknüpft sind, kein allgemeines Lob.
- Kosten bei ihrem Volumen — eine kleine Tabelle mit der gezeigten Rechnung.
- Lizenz-/Risikohinweis — ein oder zwei Zeilen, spezifisch für das gewählte Modell.
- Was zu überprüfen ist — die genaue Benchmark oder Händlerseite, die vor der Festlegung überprüft werden sollte.
Halte es unter ~400 Wörtern, es sei denn, der Benutzer fragt nach mehr Details. Biete den vollständigen Vergleich als Folgefrage an, anstatt ihn auf einmal zu liefern.
Referenzdateien
Öffne nur das, was die Frage benötigt – diese sind detailliert und würden Kontext verschwenden, wenn sie komplett geladen werden.
| Datei | Inhalt |
|---|---|
references/tts.md | Kommerzielle und offene TTS, Latenz, Klonen, Preise, Persische Optionen |
references/asr.md | Kommerzielle und offene ASR, WER, Streaming, Diarisierung, Preise |
references/music-sfx.md | Musikgenerierung, Soundeffekte, Foley, Lizenzierung der Ausgabe |
references/voice-and-singing.md | Sprachkonvertierung, Klon-Ethik, Gesangssynthese |
references/understanding-and-processing.md | Audio-LLMs, Trennung, Entrauschen, Restaurierung, Super-Resolution |
references/pricing-licensing.md | Kosteneinheiten, TCO, Lizenzmatrix, Beschaffungs-Checkliste |
references/persian.md | Persisch-spezifischer ASR/TTS-Status, Datensätze, Normalisierungsfallen |
Leitplanken
- Preise mit Datum versehen. Gib den Monat an, den die Zahlen widerspiegeln, und sage dem Benutzer, er solle auf der Händlerseite bestätigen. Präsentiere niemals eine Schätzung als Angebot.
- Erfinde keine Modellnamen oder Fähigkeiten. Wenn du dir unsicher bist, ob ein Modell existiert oder eine Sprache unterstützt, sage das und verweise auf das Leaderboard.
- Hilf nicht bei Identitätstäuschung. Lehne Sprachklonen einer echten Person ohne Zustimmung ab und lehne Inhalte ab, die zur Täuschung bestimmt sind.
- Unterscheide zwischen „offenen Gewichten“ und „Open Source“. Viele Modelle veröffentlichen Gewichte, aber nicht den Trainingscode oder die Daten.
- Bevorzuge die langweilige Antwort. Für die meisten Teams ist eine verwaltete API plus ein kleiner Evaluationssatz besser als ein selbst gehostetes Modell, das sie nicht warten können.
Referenzquelle
Dieses Skill fasst einen längeren zweisprachigen Bericht mit 19 Vergleichstabellen und über 200 Modellen zusammen: https://saeedsheikhamiri.github.io/audio-ai-models-report/. Wenn der Benutzer die vollständige Landschaft benötigt, zitiere diese Quelle, anstatt hier alles zu erweitern.