Communitygithub.com

graniet/kheish – Whisper – Robuste Spracherkennung

OpenAIs mehrsprachiges Spracherkennungsmodell. Unterstützt 99 Sprachen, Transkription, Übersetzung ins Englische und Sprachidentifikation. Sechs Modellgrößen von 'tiny' (39 Mio. Parameter) bis 'large' (1550 Mio. Parameter). Ideal für Speech-to-Text, Podcast-Transkription und mehrsprachige Audioverarbeitung.

Was ist kheish – Whisper – Robuste Spracherkennung?

Dieses Skill stellt eine lokale Integration von OpenAIs Whisper – einem hochmodernen, mehrsprachigen Spracherkennungsmodell – als KI-Agenten-Skill bereit. Es ist auf Repository-Ebene definiert und bleibt so lange inaktiv, bis es explizit aktiviert wird. Das Skill bietet eine umfassende Karten (Mappings) für die Kompatibilität mit Agenten-Umgebungen wie Claude Code, Codex oder Cursor: Legacy-Tool-Namen wie `terminal` werden auf `bash`, `web_extract` auf `web_fetch` und `search_files` auf `grep_search` sowie `glob_search` abgebildet. Browser-basierte Tools erfordern ein browserfähiges Surface oder MCP – Falls keines verfügbar ist, wird das nächstgelegene Surface verwendet und explizit darauf hingewiesen. Das Skill erlaubt die Transkription von Audio in 99 Sprachen, die Übersetzung von Nicht-Englisch-Audio in englischen Text sowie die automatische Spracherkennung. Es unterstützt sechs verschiedene Modellgrößen (tiny, base, small, medium, large, turbo) mit unterschiedlichen Geschwindigkeits-, Speicher- und Genauigkeitsprofilen. Neben grundlegenden Python-API-Aufrufen bietet es Kommandozeilen-Werkzeuge, Batch-Verarbeitung, GPU-Beschleunigung, Wort-für-Wort-Zeitstempel, Temperature-Fallback und Integration mit gängigen Bibliotheken wie LangChain und `faster-whisper`. Das Skill enthält umfangreiche Best Practices, eine Leistungstabelle für CPU/GPU, eine Liste der wichtigsten unterstützten Sprachen sowie Hinweise auf Einschränkungen wie Halluzinationen oder fehlende Sprechererkennung.

Funktioniert mit~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/graniet/kheish/tree/HEAD/skills/mlops/models/whisper

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Kheish-Kompatibilität

Dieses Skill ist repository-lokal und bleibt inaktiv, bis es explizit aktiviert wird.

Wenn die ursprünglichen Anweisungen auf Legacy-Tool-Namen verweisen, verwenden Sie diese Kheish-Zuordnungen:

  • terminal => bash
  • web_extract => web_fetch, plus web_search, wenn eine Entdeckung erforderlich ist
  • search_files => grep_search und glob_search
  • browser_*-Tools erfordern ein browserfähiges Surface oder MCP; falls keines verfügbar ist, verwenden Sie das nächstgelegene verfügbare Surface und geben Sie dies explizit an

Wenn die Anweisungen lokale Hilfsdateien erwähnen, lösen Sie diese aus ${KHEISH_SKILL_DIR} auf.

Whisper – Robuste Spracherkennung

OpenAIs mehrsprachiges Spracherkennungsmodell.

Wann Whisper verwendet werden sollte

Verwenden, wenn:

  • Speech-to-Text-Transkription (99 Sprachen)
  • Podcast-/Video-Transkription
  • Automatisierung von Meeting-Notizen
  • Übersetzung ins Englische
  • Transkription verrauschter Audiodateien
  • Mehrsprachige Audioverarbeitung

Kennzahlen:

  • 72.900+ GitHub-Sterne
  • 99 unterstützte Sprachen
  • Trainiert auf 680.000 Stunden Audio
  • MIT-Lizenz

Alternativen verwenden:

  • AssemblyAI: Verwaltete API, Sprecher-Diarisierung
  • Deepgram: Echtzeit-Streaming-ASR
  • Google Speech-to-Text: Cloud-basiert

Schnellstart

Installation

# Erfordert Python 3.8-3.11
pip install -U openai-whisper

# Erfordert ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Grundlegende Transkription

import whisper

# Modell laden
model = whisper.load_model("base")

# Transkribieren
result = model.transcribe("audio.mp3")

# Text ausgeben
print(result["text"])

# Auf Segmente zugreifen
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Modellgrößen

# Verfügbare Modelle
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Bestimmtes Modell laden
model = whisper.load_model("turbo")  # Schnellste, gute Qualität
ModellParameterNur EnglischMehrsprachigGeschwindigkeitVRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

Empfehlung: turbo für beste Geschwindigkeit/Qualität, base für Prototyping

Transkriptionsoptionen

Sprachangabe

# Sprache automatisch erkennen
result = model.transcribe("audio.mp3")

# Sprache angeben (schneller)
result = model.transcribe("audio.mp3", language="en")

# Unterstützt: en, es, fr, de, it, pt, ru, ja, ko, zh und 89 weitere

Aufgabenauswahl

# Transkription (Standard)
result = model.transcribe("audio.mp3", task="transcribe")

# Übersetzung ins Englische
result = model.transcribe("spanish.mp3", task="translate")
# Eingabe: Spanisches Audio → Ausgabe: Englischer Text

Initialer Prompt

# Genauigkeit mit Kontext verbessern
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Dies ist ein technischer Podcast über maschinelles Lernen und KI."
)

# Hilft bei:
# - Fachbegriffen
# - Eigennamen
# - Domänenspezifischem Vokabular

Zeitstempel

# Wortgenaue Zeitstempel
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Temperature-Fallback

# Bei niedriger Konfidenz mit verschiedenen Temperaturen erneut versuchen
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Kommandozeilen-Nutzung

# Grundlegende Transkription
whisper audio.mp3

# Modell angeben
whisper audio.mp3 --model turbo

# Ausgabeformate
whisper audio.mp3 --output_format txt     # Nur Text
whisper audio.mp3 --output_format srt     # Untertitel
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON mit Zeitstempeln

# Sprache
whisper audio.mp3 --language Spanish

# Übersetzung
whisper spanish.mp3 --task translate

Batch-Verarbeitung

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Transkribiere {audio_file}...")
    result = model.transcribe(audio_file)

    # In Datei speichern
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Echtzeit-Transkription

# Für Streaming-Audio: faster-whisper verwenden
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Mit Streaming transkribieren
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

GPU-Beschleunigung

import whisper

# Verwendet automatisch GPU, falls verfügbar
model = whisper.load_model("turbo")

# CPU erzwingen
model = whisper.load_model("turbo", device="cpu")

# GPU erzwingen
model = whisper.load_model("turbo", device="cuda")

# 10-20× schneller auf GPU

Integration mit anderen Tools

Untertitelgenerierung

# SRT-Untertitel generieren
whisper video.mp4 --output_format srt --language English

# Ausgabe: video.srt

Mit LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Transkription in RAG verwenden
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Audio aus Video extrahieren

# ffmpeg verwenden, um Audio zu extrahieren
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Dann transkribieren
whisper audio.wav

Best Practices

  1. Turbo-Modell verwenden – Beste Geschwindigkeit/Qualität für Englisch
  2. Sprache angeben – Schneller als automatische Erkennung
  3. Initialen Prompt hinzufügen – Verbessert Fachbegriffe
  4. GPU verwenden – 10-20× schneller
  5. Batch-Verarbeitung – Effizienter
  6. In WAV konvertieren – Bessere Kompatibilität
  7. Langes Audio aufteilen – Chunks <30 Min.
  8. Sprachunterstützung prüfen – Qualität variiert je nach Sprache
  9. faster-whisper verwenden – 4× schneller als openai-whisper
  10. VRAM überwachen – Modellgröße an die Hardware anpassen

Leistung

ModellEchtzeitfaktor (CPU)Echtzeitfaktor (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Echtzeitfaktor: 0,1 = 10× schneller als Echtzeit

Sprachunterstützung

Hauptunterstützte Sprachen:

  • Englisch (en)
  • Spanisch (es)
  • Französisch (fr)
  • Deutsch (de)
  • Italienisch (it)
  • Portugiesisch (pt)
  • Russisch (ru)
  • Japanisch (ja)
  • Koreanisch (ko)
  • Chinesisch (zh)

Vollständige Liste: 99 Sprachen insgesamt

Einschränkungen

  1. Halluzinationen – Kann Text wiederholen oder erfinden
  2. Langzeitgenauigkeit – Verschlechtert sich bei >30 Min. Audio
  3. Sprecheridentifikation – Keine Diarisierung
  4. Akzente – Qualität variiert
  5. Hintergrundgeräusche – Können die Genauigkeit beeinträchtigen
  6. Echtzeitlatenz – Nicht für Live-Beschriftung geeignet

Ressourcen

Verwandte Skills