Faster Whisper
Lokale Sprach-zu-Text-Transkription mit faster-whisper – einer CTranslate2-Neuimplementierung von OpenAIs Whisper, die 4-6x schneller läuft bei identischer Genauigkeit. Mit GPU-Beschleunigung erreichen Sie eine ~20-fache Echtzeit-Transkription (eine 10-minütige Audiodatei in etwa 30 Sekunden).
Wann verwenden
Verwenden Sie diesen Skill, wenn Sie:
- Audio-/Videodateien transkribieren möchten — Meetings, Interviews, Podcasts, Vorlesungen, YouTube-Videos
- Sprache lokal in Text umwandeln möchten — keine API-Kosten, funktioniert offline (nach Modelldownload)
- Mehrere Audiodateien stapelweise verarbeiten möchten — effizient für große Sammlungen
- Untertitel/Beschriftungen erstellen möchten — Wort-für-Wort-Zeitstempel verfügbar
- Mehrsprachige Transkription benötigen — unterstützt 99+ Sprachen mit automatischer Erkennung
Auslösephrasen: "transkribiere diese Audio", "Sprache in Text umwandeln", "was haben sie gesagt", "ein Transkript erstellen", "Audio zu Text", "untertitele dieses Video"
Wann NICHT verwenden:
- Echtzeit-/Streaming-Transkription (verwenden Sie stattdessen streaming-optimierte Tools)
- Reine Cloud-Umgebungen ohne lokale Rechenleistung
- Dateien <10 Sekunden, bei denen die API-Aufruflatenz keine Rolle spielt
Kurzübersicht
| Aufgabe | Befehl | Hinweise |
|---|---|---|
| Basis-Transkription | ./scripts/transcribe audio.mp3 | Verwendet Standard distil-large-v3 |
| Schnelleres Englisch | ./scripts/transcribe audio.mp3 --model distil-medium.en --language en | Nur Englisch, 6,8x schneller |
| Maximale Genauigkeit | ./scripts/transcribe audio.mp3 --model large-v3-turbo --beam-size 10 | Langsamer, aber beste Qualität |
| Wort-Zeitstempel | ./scripts/transcribe audio.mp3 --word-timestamps | Für Untertitel/Beschriftungen |
| JSON-Ausgabe | ./scripts/transcribe audio.mp3 --json -o output.json | Programmatischer Zugriff |
| Mehrsprachig | ./scripts/transcribe audio.mp3 --model large-v3-turbo | Erkennt Sprache automatisch |
| Stille entfernen | ./scripts/transcribe audio.mp3 --vad | Spracherkennung (Voice Activity Detection) |
Modellauswahl
Wählen Sie das richtige Modell für Ihre Anforderungen:
digraph model_selection {
rankdir=LR;
node [shape=box, style=rounded];
start [label="Start", shape=doublecircle];
need_accuracy [label="Maximale
Genauigkeit nötig?", shape=diamond];
multilingual [label="Mehrsprachiger
Inhalt?", shape=diamond];
resource_constrained [label="Ressourcen-
beschränkungen?", shape=diamond];
large_v3 [label="large-v3
oder
large-v3-turbo", style="rounded,filled", fillcolor=lightblue];
large_turbo [label="large-v3-turbo", style="rounded,filled", fillcolor=lightblue];
distil_large [label="distil-large-v3
(Standard)", style="rounded,filled", fillcolor=lightgreen];
distil_medium [label="distil-medium.en", style="rounded,filled", fillcolor=lightyellow];
distil_small [label="distil-small.en", style="rounded,filled", fillcolor=lightyellow];
start -> need_accuracy;
need_accuracy -> large_v3 [label="ja"];
need_accuracy -> multilingual [label="nein"];
multilingual -> large_turbo [label="ja"];
multilingual -> resource_constrained [label="nein (Englisch)"];
resource_constrained -> distil_small [label="Mobil/Edge"];
resource_constrained -> distil_medium [label="einige Grenzen"];
resource_constrained -> distil_large [label="nein"];
}
Modelltabelle
Standardmodelle (Vollständiger Whisper)
| Modell | Größe | Geschwindigkeit | Genauigkeit | Anwendungsfall |
|---|---|---|---|---|
tiny / tiny.en | 39M | Am schnellsten | Basis | Schnelle Entwürfe |
base / base.en | 74M | Sehr schnell | Gut | Allgemeine Verwendung |
small / small.en | 244M | Schnell | Besser | Die meisten Aufgaben |
medium / medium.en | 769M | Mäßig | Hoch | Qualitätstranskription |
large-v1/v2/v3 | 1,5 GB | Langsamer | Beste | Maximale Genauigkeit |
large-v3-turbo | 809M | Schnell | Exzellent | Empfohlen für Genauigkeit |
Destillierte Modelle (~6x schneller, ~1% WER-Unterschied)
| Modell | Größe | Geschwindigkeit vs. Standard | Genauigkeit | Anwendungsfall |
|---|---|---|---|---|
distil-large-v3 | 756M | ~6,3x schneller | 9,7% WER | Standard, beste Balance |
distil-large-v2 | 756M | ~5,8x schneller | 10,1% WER | Fallback |
distil-medium.en | 394M | ~6,8x schneller | 11,1% WER | Nur Englisch, ressourcenbeschränkt |
distil-small.en | 166M | ~5,6x schneller | 12,1% WER | Mobil-/Edge-Geräte |
.en-Modelle sind nur für Englisch und etwas schneller/besser für englische Inhalte.
Einrichtung
Linux / macOS / WSL2
# Führen Sie das Setup-Skript aus (erstellt venv, installiert Abhängigkeiten, erkennt GPU automatisch)
./setup.sh
Windows (Nativ)
# Führen Sie von PowerShell aus (installiert Python & ffmpeg bei Bedarf automatisch über winget)
.\setup.ps1
Das Windows-Setup-Skript wird:
- Python 3.12 bei Bedarf automatisch über winget installieren
- ffmpeg bei Bedarf automatisch über winget installieren
- NVIDIA-GPU erkennen und CUDA-fähigen PyTorch installieren
- venv erstellen und alle Abhängigkeiten installieren
Anforderungen:
- Linux/macOS/WSL2: Python 3.10+, ffmpeg
- Windows: Nichts! Setup installiert Voraussetzungen automatisch über winget
Plattformunterstützung
| Plattform | Beschleunigung | Geschwindigkeit | Auto-Installation |
|---|---|---|---|
| Windows + NVIDIA GPU | CUDA | ~20x Echtzeit 🚀 | ✅ Vollständig |
| Linux + NVIDIA GPU | CUDA | ~20x Echtzeit 🚀 | Manuelle Voraussetzungen |
| WSL2 + NVIDIA GPU | CUDA | ~20x Echtzeit 🚀 | Manuelle Voraussetzungen |
| macOS Apple Silicon | CPU* | ~3-5x Echtzeit | Manuelle Voraussetzungen |
| macOS Intel | CPU | ~1-2x Echtzeit | Manuelle Voraussetzungen |
| Windows (keine GPU) | CPU | ~1x Echtzeit | ✅ Vollständig |
| Linux (keine GPU) | CPU | ~1x Echtzeit | Manuelle Voraussetzungen |
*faster-whisper verwendet CTranslate2, das auf macOS nur CPU-basiert ist, aber Apple Silicon ist schnell genug für den praktischen Einsatz.
GPU-Unterstützung (WICHTIG!)
Das Setup-Skript erkennt Ihre GPU automatisch und installiert PyTorch mit CUDA. Verwenden Sie immer GPU, wenn verfügbar — CPU-Transkription ist extrem langsam.
| Hardware | Geschwindigkeit | 9-minütiges Video |
|---|---|---|
| RTX 3070 (GPU) | ~20x Echtzeit | ~27 Sekunden |
| CPU (int8) | ~0,3x Echtzeit | ~30 Minuten |
Wenn das Setup Ihre GPU nicht erkannt hat, installieren Sie PyTorch manuell mit CUDA:
Linux/macOS/WSL2:
# Für CUDA 12.x
uv pip install --python .venv/bin/python torch --index-url https://download.pytorch.org/whl/cu121
# Für CUDA 11.x
uv pip install --python .venv/bin/python torch --index-url https://download.pytorch.org/whl/cu118
Windows:
# Für CUDA 12.x
.venv\Scripts\pip install torch --index-url https://download.pytorch.org/whl/cu121
# Für CUDA 11.x
.venv\Scripts\pip install torch --index-url https://download.pytorch.org/whl/cu118
- Windows-Benutzer: Stellen Sie sicher, dass Sie NVIDIA-Treiber installiert haben
- WSL2-Benutzer: Stellen Sie sicher, dass Sie die NVIDIA CUDA-Treiber für WSL unter Windows installiert haben
Verwendung
Linux/macOS/WSL2:
# Basis-Transkription
./scripts/transcribe audio.mp3
# Mit bestimmtem Modell
./scripts/transcribe audio.wav --model large-v3-turbo
# Mit Wort-Zeitstempeln
./scripts/transcribe audio.mp3 --word-timestamps
# Sprache angeben (schneller als Auto-Erkennung)
./scripts/transcribe audio.mp3 --language en
# JSON-Ausgabe
./scripts/transcribe audio.mp3 --json
Windows (cmd oder PowerShell):
# Basis-Transkription
.\scripts\transcribe.cmd audio.mp3
# Mit bestimmtem Modell
.\scripts\transcribe.cmd audio.wav --model large-v3-turbo
# Mit Wort-Zeitstempeln (native PowerShell-Syntax funktioniert auch)
.\scripts\transcribe.ps1 audio.mp3 -WordTimestamps
# JSON-Ausgabe
.\scripts\transcribe.cmd audio.mp3 --json
Optionen
--model, -m Modellname (Standard: distil-large-v3)
--language, -l Sprachcode (z. B. en, es, fr - Auto-Erkennung, falls weggelassen)
--word-timestamps Wort-für-Wort-Zeitstempel einschließen
--beam-size Beam-Search-Größe (Standard: 5, höher = genauer, aber langsamer)
--vad Spracherkennung aktivieren (entfernt Stille)
--json, -j Als JSON ausgeben
--output, -o Transkript in Datei speichern
--device cpu oder cuda (automatisch erkannt)
--compute-type int8, float16, float32 (Standard: automatisch optimiert)
--quiet, -q Fortschrittsmeldungen unterdrücken
Beispiele
# YouTube-Audio transkribieren (nach Extraktion mit yt-dlp)
yt-dlp -x --audio-format mp3 <URL> -o audio.mp3
./scripts/transcribe audio.mp3
# Batch-Transkription mit JSON-Ausgabe
for file in *.mp3; do
./scripts/transcribe "$file" --json > "${file%.mp3}.json"
done
# Hochpräzise Transkription mit größerer Beam-Größe
./scripts/transcribe audio.mp3 \
--model large-v3-turbo --beam-size 10 --word-timestamps
# Schnelle englischsprachige Transkription
./scripts/transcribe audio.mp3 \
--model distil-medium.en --language en
# Transkription mit VAD (entfernt Stille)
./scripts/transcribe audio.mp3 --vad
Häufige Fehler
| Fehler | Problem | Lösung |
|---|---|---|
| CPU verwenden, obwohl GPU verfügbar | 10-20x langsamere Transkription | Überprüfen Sie nvidia-smi unter Windows/Linux; verifizieren Sie CUDA-Installation |
| Sprache nicht angegeben | Verschwendet Zeit mit Auto-Erkennung bei bekanntem Inhalt | Verwenden Sie --language en, wenn Sie die Sprache kennen |
| Falsches Modell verwenden | Unnötige Langsamkeit oder schlechte Genauigkeit | Standard distil-large-v3 ist ausgezeichnet; nur large-v3 verwenden, wenn Genauigkeitsprobleme auftreten |
| Destillierte Modelle ignorieren | 6-fache Beschleunigung mit <1% Genauigkeitsverlust verpassen | Versuchen Sie distil-large-v3, bevor Sie zu Standardmodellen greifen |
| ffmpeg vergessen | Setup schlägt fehl oder Audio kann nicht verarbeitet werden | Setup-Skript kümmert sich darum; manuelle Installationen benötigen ffmpeg separat |
| Speicherfehler | Modell zu groß für verfügbaren RAM/VRAM | Verwenden Sie ein kleineres Modell oder --compute-type int8 |
| Beam-Größe überoptimieren | Abnehmende Erträge jenseits von Beam-Größe 5-7 | Standard 5 ist in Ordnung; versuchen Sie 10 für kritische Transkripte |
Leistungshinweise
- Erster Lauf: Modell herunterladen nach
~/.cache/huggingface/(einmalig) - GPU: Verwendet automatisch CUDA, falls verfügbar (~10-20x schneller)
- Quantisierung: INT8 auf CPU für ~4x Beschleunigung mit minimalem Genauigkeitsverlust
- Speicher:
distil-large-v3: ~2GB RAM / ~1GB VRAMlarge-v3-turbo: ~4GB RAM / ~2GB VRAMtiny/base: <1GB RAM
Warum faster-whisper?
- Geschwindigkeit: ~4-6x schneller als OpenAIs ursprüngliches Whisper
- Genauigkeit: Identisch (verwendet dieselben Modellgewichte)
- Effizienz: Geringerer Speicherverbrauch durch Quantisierung
- Produktionsreif: Stabiles C++-Backend (CTranslate2)
- Destillierte Modelle: ~6x schneller mit <1% Genauigkeitsverlust
Fehlerbehebung
"CUDA nicht verfügbar — verwende CPU": Installieren Sie PyTorch mit CUDA (siehe GPU-Unterstützung oben)
Setup schlägt fehl: Stellen Sie sicher, dass Python 3.10+ installiert ist
Speichermangel: Verwenden Sie ein kleineres Modell oder --compute-type int8
Langsam auf CPU: Erwartet — verwenden Sie GPU für praktische Transkription
Modelldownload schlägt fehl: Überprüfen Sie die Berechtigungen von ~/.cache/huggingface/ (Linux/macOS) oder %USERPROFILE%\.cache\huggingface\ (Windows)
Windows-spezifisch
"winget nicht gefunden": Installieren Sie App Installer aus dem Microsoft Store, oder installieren Sie Python/ffmpeg manuell
"Python nach Installation nicht im PATH": Schließen Sie Ihr Terminal und öffnen Sie es erneut, führen Sie dann erneut setup.ps1 aus
PowerShell-Ausführungsrichtlinienfehler: Führen Sie Set-ExecutionPolicy -Scope CurrentUser -ExecutionPolicy RemoteSigned aus oder verwenden Sie stattdessen transcribe.cmd
nvidia-smi nicht gefunden, aber GPU vorhanden: Installieren Sie NVIDIA-Treiber — die Game Ready- oder Studio-Treiber enthalten nvidia-smi