Communitygithub.com

Whisper – Robuste Spracherkennung

OpenAIs mehrsprachiges Spracherkennungsmodell. Unterstützt 99 Sprachen, Transkription, Übersetzung ins Englische und Spracherkennung. Sechs Modellgrößen von tiny (39M Parameter) bis large (1550M Parameter). Ideal für Speech-to-Text, Podcast-Transkription oder mehrsprachige Audioverarbeitung.

Was ist Whisper – Robuste Spracherkennung?

Whisper ist ein robustes, mehrsprachiges Spracherkennungsmodell von OpenAI, das auf 680.000 Stunden Audiodaten trainiert wurde. Es unterstützt 99 Sprachen, kann Audio in Text transkribieren, ins Englische übersetzen und automatisch die Sprache identifizieren. Das Modell ist in sechs Größen erhältlich – von „tiny“ (39M Parameter) bis „large“ (1550M Parameter) – sowie dem optimierten „turbo“-Modell. Es eignet sich für eine Vielzahl von Anwendungen: Podcast-Transkription, Meeting-Notizen, Untertitelgenerierung und mehrsprachige Audioverarbeitung. Whisper kann sowohl über die Kommandozeile als auch über Python-APIs genutzt werden, unterstützt GPU-Beschleunigung und bietet erweiterte Funktionen wie Wort-Zeitstempel, initiale Prompts und Temperatur-Fallback. Alternativen wie AssemblyAI (mit Sprecher-Diarisierung) oder Deepgram (Echtzeit-Streaming) können je nach Anwendungsfall die bessere Wahl sein.

Funktioniert mit~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/ovachiever/droid-tings/tree/HEAD/skills/whisper

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht Whisper – Robuste Spracherkennung?

OpenAIs mehrsprachiges Spracherkennungsmodell.

Wann Whisper verwenden

Verwenden, wenn:

  • Sprach-zu-Text-Transkription (99 Sprachen)
  • Podcast-/Video-Transkription
  • Automatisierung von Meeting-Notizen
  • Übersetzung ins Englische
  • Transkription verrauschter Audiodaten
  • Mehrsprachige Audioverarbeitung

Kennzahlen:

  • 72.900+ GitHub-Sterne
  • 99 unterstützte Sprachen
  • Trainiert auf 680.000 Stunden Audio
  • MIT-Lizenz

Alternativen stattdessen:

  • AssemblyAI: Verwaltete API, Sprecher-Diarisierung
  • Deepgram: Echtzeit-Streaming-ASR
  • Google Speech-to-Text: Cloud-basiert

Schnellstart

Installation

# Erfordert Python 3.8-3.11
pip install -U openai-whisper

# Erfordert ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Grundlegende Transkription

import whisper

# Modell laden
model = whisper.load_model("base")

# Transkribieren
result = model.transcribe("audio.mp3")

# Text ausgeben
print(result["text"])

# Zugriff auf Segmente
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Modellgrößen

# Verfügbare Modelle
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Bestimmtes Modell laden
model = whisper.load_model("turbo")  # Schnellste, gute Qualität
ModellParameterNur EnglischMehrsprachigGeschwindigkeitVRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

Empfehlung: Verwenden Sie turbo für beste Geschwindigkeit/Qualität, base für Prototyping

Transkriptionsoptionen

Sprachangabe

# Sprache automatisch erkennen
result = model.transcribe("audio.mp3")

# Sprache angeben (schneller)
result = model.transcribe("audio.mp3", language="en")

# Unterstützt: en, es, fr, de, it, pt, ru, ja, ko, zh und 89 weitere

Aufgabenauswahl

# Transkription (Standard)
result = model.transcribe("audio.mp3", task="transcribe")

# Übersetzung ins Englische
result = model.transcribe("spanish.mp3", task="translate")
# Eingabe: Spanisches Audio → Ausgabe: Englischer Text

Initialer Prompt

# Genauigkeit mit Kontext verbessern
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Dies ist ein technischer Podcast über maschinelles Lernen und KI."
)

# Hilft bei:
# - Fachbegriffen
# - Eigennamen
# - Domänenspezifischem Vokabular

Zeitstempel

# Wortgenaue Zeitstempel
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Temperatur-Fallback

# Bei niedriger Konfidenz mit verschiedenen Temperaturen wiederholen
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Kommandozeilenverwendung

# Einfache Transkription
whisper audio.mp3

# Modell angeben
whisper audio.mp3 --model turbo

# Ausgabeformate
whisper audio.mp3 --output_format txt     # Nur Text
whisper audio.mp3 --output_format srt     # Untertitel
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON mit Zeitstempeln

# Sprache
whisper audio.mp3 --language Spanish

# Übersetzung
whisper spanish.mp3 --task translate

Batch-Verarbeitung

import os

audio_files = ["datei1.mp3", "datei2.mp3", "datei3.mp3"]

for audio_file in audio_files:
    print(f"Transkribiere {audio_file}...")
    result = model.transcribe(audio_file)

    # In Datei speichern
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Echtzeit-Transkription

# Für Streaming-Audio faster-whisper verwenden
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Mit Streaming transkribieren
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

GPU-Beschleunigung

import whisper

# Nutzt automatisch GPU, falls verfügbar
model = whisper.load_model("turbo")

# CPU erzwingen
model = whisper.load_model("turbo", device="cpu")

# GPU erzwingen
model = whisper.load_model("turbo", device="cuda")

# 10-20× schneller auf GPU

Integration mit anderen Tools

Untertitelgenerierung

# SRT-Untertitel generieren
whisper video.mp4 --output_format srt --language English

# Ausgabe: video.srt

Mit LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Transkription in RAG verwenden
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Audio aus Video extrahieren

# ffmpeg verwenden, um Audio zu extrahieren
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Dann transkribieren
whisper audio.wav

Best Practices

  1. Turbo-Modell verwenden - Beste Geschwindigkeit/Qualität für Englisch
  2. Sprache angeben - Schneller als automatische Erkennung
  3. Initialen Prompt hinzufügen - Verbessert Fachbegriffe
  4. GPU nutzen - 10-20× schneller
  5. Batch-Verarbeitung - Effizienter
  6. In WAV konvertieren - Bessere Kompatibilität
  7. Lange Audiodateien aufteilen - <30 Min. Chunks
  8. Sprachunterstützung prüfen - Qualität variiert je nach Sprache
  9. faster-whisper verwenden - 4× schneller als openai-whisper
  10. VRAM überwachen - Modellgröße an Hardware anpassen

Leistung

ModellEchtzeitfaktor (CPU)Echtzeitfaktor (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Echtzeitfaktor: 0.1 = 10× schneller als Echtzeit

Sprachunterstützung

Am besten unterstützte Sprachen:

  • Englisch (en)
  • Spanisch (es)
  • Französisch (fr)
  • Deutsch (de)
  • Italienisch (it)
  • Portugiesisch (pt)
  • Russisch (ru)
  • Japanisch (ja)
  • Koreanisch (ko)
  • Chinesisch (zh)

Vollständige Liste: Insgesamt 99 Sprachen

Einschränkungen

  1. Halluzinationen - Kann Text wiederholen oder erfinden
  2. Genauigkeit bei langen Aufnahmen - Verschlechtert sich bei >30 Min. Audio
  3. Sprechererkennung - Keine Diarisierung
  4. Akzente - Qualität variiert
  5. Hintergrundgeräusche - Können die Genauigkeit beeinträchtigen
  6. Echtzeitlatenz - Nicht für Live-Untertitelung geeignet

Ressourcen

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

Verwandte Skills