Was macht Whisper – Robuste Spracherkennung?
OpenAIs mehrsprachiges Spracherkennungsmodell.
Wann Whisper verwenden
Verwenden, wenn:
- Sprach-zu-Text-Transkription (99 Sprachen)
- Podcast-/Video-Transkription
- Automatisierung von Meeting-Notizen
- Übersetzung ins Englische
- Transkription verrauschter Audiodaten
- Mehrsprachige Audioverarbeitung
Kennzahlen:
- 72.900+ GitHub-Sterne
- 99 unterstützte Sprachen
- Trainiert auf 680.000 Stunden Audio
- MIT-Lizenz
Alternativen stattdessen:
- AssemblyAI: Verwaltete API, Sprecher-Diarisierung
- Deepgram: Echtzeit-Streaming-ASR
- Google Speech-to-Text: Cloud-basiert
Schnellstart
Installation
# Erfordert Python 3.8-3.11
pip install -U openai-whisper
# Erfordert ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg
Grundlegende Transkription
import whisper
# Modell laden
model = whisper.load_model("base")
# Transkribieren
result = model.transcribe("audio.mp3")
# Text ausgeben
print(result["text"])
# Zugriff auf Segmente
for segment in result["segments"]:
print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")
Modellgrößen
# Verfügbare Modelle
models = ["tiny", "base", "small", "medium", "large", "turbo"]
# Bestimmtes Modell laden
model = whisper.load_model("turbo") # Schnellste, gute Qualität
| Modell | Parameter | Nur Englisch | Mehrsprachig | Geschwindigkeit | VRAM |
|---|---|---|---|---|---|
| tiny | 39M | ✓ | ✓ | ~32x | ~1 GB |
| base | 74M | ✓ | ✓ | ~16x | ~1 GB |
| small | 244M | ✓ | ✓ | ~6x | ~2 GB |
| medium | 769M | ✓ | ✓ | ~2x | ~5 GB |
| large | 1550M | ✗ | ✓ | 1x | ~10 GB |
| turbo | 809M | ✗ | ✓ | ~8x | ~6 GB |
Empfehlung: Verwenden Sie turbo für beste Geschwindigkeit/Qualität, base für Prototyping
Transkriptionsoptionen
Sprachangabe
# Sprache automatisch erkennen
result = model.transcribe("audio.mp3")
# Sprache angeben (schneller)
result = model.transcribe("audio.mp3", language="en")
# Unterstützt: en, es, fr, de, it, pt, ru, ja, ko, zh und 89 weitere
Aufgabenauswahl
# Transkription (Standard)
result = model.transcribe("audio.mp3", task="transcribe")
# Übersetzung ins Englische
result = model.transcribe("spanish.mp3", task="translate")
# Eingabe: Spanisches Audio → Ausgabe: Englischer Text
Initialer Prompt
# Genauigkeit mit Kontext verbessern
result = model.transcribe(
"audio.mp3",
initial_prompt="Dies ist ein technischer Podcast über maschinelles Lernen und KI."
)
# Hilft bei:
# - Fachbegriffen
# - Eigennamen
# - Domänenspezifischem Vokabular
Zeitstempel
# Wortgenaue Zeitstempel
result = model.transcribe("audio.mp3", word_timestamps=True)
for segment in result["segments"]:
for word in segment["words"]:
print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")
Temperatur-Fallback
# Bei niedriger Konfidenz mit verschiedenen Temperaturen wiederholen
result = model.transcribe(
"audio.mp3",
temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)
Kommandozeilenverwendung
# Einfache Transkription
whisper audio.mp3
# Modell angeben
whisper audio.mp3 --model turbo
# Ausgabeformate
whisper audio.mp3 --output_format txt # Nur Text
whisper audio.mp3 --output_format srt # Untertitel
whisper audio.mp3 --output_format vtt # WebVTT
whisper audio.mp3 --output_format json # JSON mit Zeitstempeln
# Sprache
whisper audio.mp3 --language Spanish
# Übersetzung
whisper spanish.mp3 --task translate
Batch-Verarbeitung
import os
audio_files = ["datei1.mp3", "datei2.mp3", "datei3.mp3"]
for audio_file in audio_files:
print(f"Transkribiere {audio_file}...")
result = model.transcribe(audio_file)
# In Datei speichern
output_file = audio_file.replace(".mp3", ".txt")
with open(output_file, "w") as f:
f.write(result["text"])
Echtzeit-Transkription
# Für Streaming-Audio faster-whisper verwenden
# pip install faster-whisper
from faster_whisper import WhisperModel
model = WhisperModel("base", device="cuda", compute_type="float16")
# Mit Streaming transkribieren
segments, info = model.transcribe("audio.mp3", beam_size=5)
for segment in segments:
print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")
GPU-Beschleunigung
import whisper
# Nutzt automatisch GPU, falls verfügbar
model = whisper.load_model("turbo")
# CPU erzwingen
model = whisper.load_model("turbo", device="cpu")
# GPU erzwingen
model = whisper.load_model("turbo", device="cuda")
# 10-20× schneller auf GPU
Integration mit anderen Tools
Untertitelgenerierung
# SRT-Untertitel generieren
whisper video.mp4 --output_format srt --language English
# Ausgabe: video.srt
Mit LangChain
from langchain.document_loaders import WhisperTranscriptionLoader
loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()
# Transkription in RAG verwenden
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())
Audio aus Video extrahieren
# ffmpeg verwenden, um Audio zu extrahieren
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav
# Dann transkribieren
whisper audio.wav
Best Practices
- Turbo-Modell verwenden - Beste Geschwindigkeit/Qualität für Englisch
- Sprache angeben - Schneller als automatische Erkennung
- Initialen Prompt hinzufügen - Verbessert Fachbegriffe
- GPU nutzen - 10-20× schneller
- Batch-Verarbeitung - Effizienter
- In WAV konvertieren - Bessere Kompatibilität
- Lange Audiodateien aufteilen - <30 Min. Chunks
- Sprachunterstützung prüfen - Qualität variiert je nach Sprache
- faster-whisper verwenden - 4× schneller als openai-whisper
- VRAM überwachen - Modellgröße an Hardware anpassen
Leistung
| Modell | Echtzeitfaktor (CPU) | Echtzeitfaktor (GPU) |
|---|---|---|
| tiny | ~0.32 | ~0.01 |
| base | ~0.16 | ~0.01 |
| turbo | ~0.08 | ~0.01 |
| large | ~1.0 | ~0.05 |
Echtzeitfaktor: 0.1 = 10× schneller als Echtzeit
Sprachunterstützung
Am besten unterstützte Sprachen:
- Englisch (en)
- Spanisch (es)
- Französisch (fr)
- Deutsch (de)
- Italienisch (it)
- Portugiesisch (pt)
- Russisch (ru)
- Japanisch (ja)
- Koreanisch (ko)
- Chinesisch (zh)
Vollständige Liste: Insgesamt 99 Sprachen
Einschränkungen
- Halluzinationen - Kann Text wiederholen oder erfinden
- Genauigkeit bei langen Aufnahmen - Verschlechtert sich bei >30 Min. Audio
- Sprechererkennung - Keine Diarisierung
- Akzente - Qualität variiert
- Hintergrundgeräusche - Können die Genauigkeit beeinträchtigen
- Echtzeitlatenz - Nicht für Live-Untertitelung geeignet
Ressourcen
- GitHub: https://github.com/openai/whisper ⭐ 72.900+
- Paper: https://arxiv.org/abs/2212.04356
- Model Card: https://github.com/openai/whisper/blob/main/model-card.md
- Colab: Im Repository verfügbar
- Lizenz: MIT