Communitygithub.com

Whisper – Robuste Spracherkennung

OpenAIs mehrsprachiges Spracherkennungsmodell, das 99 Sprachen unterstützt und Transkription, Übersetzung ins Englische sowie Sprachidentifikation bietet.

Was ist Whisper – Robuste Spracherkennung?

Whisper ist ein vielseitiges, mehrsprachiges Spracherkennungsmodell von OpenAI, das für eine Vielzahl von Aufgaben eingesetzt werden kann: von einfacher Transkription über die Übersetzung gesprochener Inhalte ins Englische bis hin zur Sprachidentifikation in 99 Sprachen. Das Modell ist in sechs Größen erhältlich – von „tiny“ (39M Parameter) bis „large“ (1550M Parameter) – sowie dem besonders effizienten „turbo“-Modell (809M Parameter), das ein optimales Verhältnis von Geschwindigkeit und Genauigkeit bietet. Whisper funktioniert plattformunabhängig (Python 3.8–3.11), benötigt ffmpeg für die Audioverarbeitung und kann sowohl über die Python-Bibliothek als auch über die Kommandozeile verwendet werden. Es eignet sich besonders für Transkription von Podcasts/Videos, Automatisierung von Meeting-Notizen, Verarbeitung verrauschter Audiodateien und Integration in KI-Pipelines (z.B. mit LangChain). Die GPU-Unterstützung beschleunigt die Verarbeitung um das 10- bis 20-Fache. Für Echtzeitanwendungen wird die schnellere Alternative faster-whisper empfohlen. Einschränkungen sind mögliche Halluzinationen, nachlassende Genauigkeit bei sehr langen Audiodateien (>30 Min.) und fehlende Sprecherdiarisierung.

Funktioniert mit~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/OpenLAIR/dr-claw/tree/HEAD/skills/multimodal/whisper

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht Whisper – Robuste Spracherkennung?

OpenAIs mehrsprachiges Spracherkennungsmodell.

Wann sollte Whisper verwendet werden

Verwenden, wenn:

  • Sprache-zu-Text-Transkription (99 Sprachen)
  • Podcast-/Video-Transkription
  • Automatisierung von Besprechungsnotizen
  • Übersetzung ins Englische
  • Transkription von verrauschtem Audio
  • Mehrsprachige Audioverarbeitung

Metriken:

  • 72.900+ GitHub-Sterne
  • 99 Sprachen unterstützt
  • Trainiert auf 680.000 Stunden Audio
  • MIT-Lizenz

Alternativen verwenden:

  • AssemblyAI: Managed API, Sprecherdiarisierung
  • Deepgram: Echtzeit-Streaming-ASR
  • Google Speech-to-Text: Cloud-basiert

Schnellstart

Installation

# Erfordert Python 3.8-3.11
pip install -U openai-whisper

# Erfordert ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Grundlegende Transkription

import whisper

# Modell laden
model = whisper.load_model("base")

# Transkribieren
result = model.transcribe("audio.mp3")

# Text ausgeben
print(result["text"])

# Auf Segmente zugreifen
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Modellgrößen

# Verfügbare Modelle
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Bestimmtes Modell laden
model = whisper.load_model("turbo")  # Schnellste, gute Qualität
ModellParameterNur EnglischMehrsprachigGeschwindigkeitVRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

Empfehlung: turbo für beste Geschwindigkeit/Qualität, base für Prototyping verwenden

Transkriptionsoptionen

Sprachangabe

# Sprache automatisch erkennen
result = model.transcribe("audio.mp3")

# Sprache angeben (schneller)
result = model.transcribe("audio.mp3", language="en")

# Unterstützt: de, en, es, fr, it, pt, ru, ja, ko, zh und 89 weitere

Aufgabenauswahl

# Transkription (Standard)
result = model.transcribe("audio.mp3", task="transcribe")

# Übersetzung ins Englische
result = model.transcribe("spanish.mp3", task="translate")
# Eingabe: Spanisches Audio → Ausgabe: Englischer Text

Anfangsaufforderung

# Genauigkeit durch Kontext verbessern
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Dies ist ein technischer Podcast über maschinelles Lernen und KI."
)

# Hilft bei:
# - Fachbegriffen
# - Eigennamen
# - Domänenspezifischem Vokabular

Zeitstempel

# Wortgenaue Zeitstempel
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Temperatur-Fallback

# Wiederholung mit verschiedenen Temperaturen bei geringer Konfidenz
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Kommandozeilenverwendung

# Basis-Transkription
whisper audio.mp3

# Modell angeben
whisper audio.mp3 --model turbo

# Ausgabeformate
whisper audio.mp3 --output_format txt     # Klartext
whisper audio.mp3 --output_format srt     # Untertitel
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON mit Zeitstempeln

# Sprache
whisper audio.mp3 --language German

# Übersetzung
whisper spanish.mp3 --task translate

Batch-Verarbeitung

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Transkribiere {audio_file}...")
    result = model.transcribe(audio_file)

    # In Datei speichern
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Echtzeit-Transkription

# Für Streaming-Audio faster-whisper verwenden
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Mit Streaming transkribieren
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

GPU-Beschleunigung

import whisper

# Verwendet automatisch GPU, falls verfügbar
model = whisper.load_model("turbo")

# CPU erzwingen
model = whisper.load_model("turbo", device="cpu")

# GPU erzwingen
model = whisper.load_model("turbo", device="cuda")

# 10-20× schneller auf GPU

Integration mit anderen Werkzeugen

Untertitelgenerierung

# SRT-Untertitel erstellen
whisper video.mp4 --output_format srt --language English

# Ausgabe: video.srt

Mit LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Transkription in RAG verwenden
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Audio aus Video extrahieren

# ffmpeg verwenden, um Audio zu extrahieren
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Dann transkribieren
whisper audio.wav

Best Practices

  1. turbo-Modell verwenden – Beste Geschwindigkeit/Qualität für Englisch
  2. Sprache angeben – Schneller als automatische Erkennung
  3. Anfangsaufforderung hinzufügen – Verbessert Fachbegriffe
  4. GPU verwenden – 10-20× schneller
  5. Batch-Verarbeitung – Effizienter
  6. In WAV konvertieren – Bessere Kompatibilität
  7. Lange Audiodateien aufteilen – <30-Minuten-Chunks
  8. Sprachunterstützung prüfen – Qualität variiert je nach Sprache
  9. faster-whisper verwenden – 4× schneller als openai-whisper
  10. VRAM überwachen – Modellgröße an Hardware anpassen

Leistung

ModellEchtzeitfaktor (CPU)Echtzeitfaktor (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Echtzeitfaktor: 0.1 = 10× schneller als Echtzeit

Sprachunterstützung

Hauptunterstützte Sprachen:

  • Englisch (en)
  • Spanisch (es)
  • Französisch (fr)
  • Deutsch (de)
  • Italienisch (it)
  • Portugiesisch (pt)
  • Russisch (ru)
  • Japanisch (ja)
  • Koreanisch (ko)
  • Chinesisch (zh)

Vollständige Liste: 99 Sprachen insgesamt

Einschränkungen

  1. Halluzinationen – Kann Text wiederholen oder erfinden
  2. Genauigkeit bei langen Audiodateien – Nimmt bei >30 Min. ab
  3. Sprecheridentifikation – Keine Diarisierung
  4. Akzente – Qualität variiert
  5. Hintergrundgeräusche – Können Genauigkeit beeinträchtigen
  6. Echtzeitlatenz – Nicht für Live-Untertitelung geeignet

Ressourcen

Verwandte Skills