Communitygithub.com

math-inc/OpenGauss

OpenAIs mehrsprachiges Spracherkennungsmodell. Unterstützt 99 Sprachen, Transkription, Übersetzung ins Englische und Sprachidentifikation. Sechs Modellgrößen von tiny (39M Parameter) bis large (1550M Parameter). Ideal für Speech-to-Text, Podcast-Transkription oder die Verarbeitung mehrsprachiger Audiodaten. Am besten geeignet für robuste, mehrsprachige ASR.

Was ist OpenGauss?

Whisper ist das fortschrittliche, mehrsprachige Spracherkennungsmodell von OpenAI, das auf 680.000 Stunden Audio trainiert wurde und 99 Sprachen unterstützt. Es bietet sechs Modellgrößen (tiny bis large und turbo) mit unterschiedlichen Kompromissen zwischen Geschwindigkeit und Genauigkeit. Entwickler können es für die Transkription von Sprache in Text, die Übersetzung von Audio in englischen Text oder die Identifizierung der gesprochenen Sprache nutzen. Das Skill umfasst eine Python-Bibliothek und ein CLI-Tool, die eine nahtlose Integration in Workflows wie die Erstellung von Untertiteln, die automatisierte Erstellung von Besprechungsnotizen und die Echtzeit-Transkription mit GPU-Beschleunigung ermöglichen. Es zeichnet sich durch die Verarbeitung verrauschter Audiodaten aus und unterstützt erweiterte Funktionen wie Wort-Zeitstempel, Temperatur-Fallback und Batch-Verarbeitung. Aufgrund seiner Robustheit in zahlreichen Sprachen und seiner Open-Source-Natur (MIT-Lizenz) wird es in der Entwickler-Community häufig eingesetzt. Alternativen wie AssemblyAI, Deepgram oder Google Speech-to-Text werden für verwaltete APIs, Echtzeit-Streaming oder Cloud-basierte Dienste empfohlen.

Funktioniert mit~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/math-inc/OpenGauss/tree/HEAD/skills/mlops/models/whisper

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Whisper – Robuste Spracherkennung

OpenAIs mehrsprachiges Spracherkennungsmodell.

Wann Whisper verwendet werden sollte

Verwenden bei:

  • Sprach-zu-Text-Transkription (99 Sprachen)
  • Podcast-/Video-Transkription
  • Automatisierung von Besprechungsnotizen
  • Übersetzung ins Englische
  • Transkription verrauschter Audiodaten
  • Verarbeitung mehrsprachiger Audiodaten

Kennzahlen:

  • 72.900+ GitHub-Sterne
  • 99 unterstützte Sprachen
  • Trainiert auf 680.000 Stunden Audio
  • MIT-Lizenz

Alternativen verwenden:

  • AssemblyAI: Verwaltete API, Sprecherdiarisierung
  • Deepgram: Echtzeit-Streaming-ASR
  • Google Speech-to-Text: Cloud-basiert

Schnellstart

Installation

# Erfordert Python 3.8–3.11
pip install -U openai-whisper

# Erfordert ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Einfache Transkription

import whisper

# Modell laden
model = whisper.load_model("base")

# Transkribieren
result = model.transcribe("audio.mp3")

# Text ausgeben
print(result["text"])

# Auf Segmente zugreifen
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s – {segment['end']:.2f}s] {segment['text']}")

Modellgrößen

# Verfügbare Modelle
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Bestimmtes Modell laden
model = whisper.load_model("turbo")  # Schnellste, gute Qualität
ModellParameterNur EnglischMehrsprachigGeschwindigkeitVRAM
tiny39M✓✓~32×~1 GB
base74M✓✓~16×~1 GB
small244M✓✓~6×~2 GB
medium769M✓✓~2×~5 GB
large1550M✗✓1×~10 GB
turbo809M✗✓~8×~6 GB

Empfehlung: Verwenden Sie turbo für beste Geschwindigkeit/Qualität, base für Prototyping

Transkriptionsoptionen

Sprache angeben

# Sprache automatisch erkennen
result = model.transcribe("audio.mp3")

# Sprache angeben (schneller)
result = model.transcribe("audio.mp3", language="en")

# Unterstützt: en, es, fr, de, it, pt, ru, ja, ko, zh und 89 weitere

Aufgabenauswahl

# Transkription (Standard)
result = model.transcribe("audio.mp3", task="transcribe")

# Übersetzung ins Englische
result = model.transcribe("spanish.mp3", task="translate")
# Eingabe: Spanisches Audio → Ausgabe: Englischer Text

Erste Eingabeaufforderung

# Genauigkeit durch Kontext verbessern
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Dies ist ein technischer Podcast über maschinelles Lernen und KI."
)

# Hilft bei:
# - Technischen Begriffen
# - Eigennamen
# - Bereichsspezifischem Vokabular

Zeitstempel

# Wortgenaue Zeitstempel
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s – {word['end']:.2f}s)")

Temperatur-Fallback

# Mit verschiedenen Temperaturen wiederholen, wenn die Konfidenz niedrig ist
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Befehlszeilennutzung

# Einfache Transkription
whisper audio.mp3

# Modell angeben
whisper audio.mp3 --model turbo

# Ausgabeformate
whisper audio.mp3 --output_format txt     # Nur Text
whisper audio.mp3 --output_format srt     # Untertitel
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON mit Zeitstempeln

# Sprache
whisper audio.mp3 --language Spanish

# Übersetzung
whisper spanish.mp3 --task translate

Batch-Verarbeitung

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Transkribiere {audio_file}...")
    result = model.transcribe(audio_file)

    # In Datei speichern
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Echtzeit-Transkription

# Für Streaming-Audio faster-whisper verwenden
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Mit Streaming transkribieren
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

GPU-Beschleunigung

import whisper

# Verwendet automatisch GPU, falls verfügbar
model = whisper.load_model("turbo")

# CPU erzwingen
model = whisper.load_model("turbo", device="cpu")

# GPU erzwingen
model = whisper.load_model("turbo", device="cuda")

# 10–20× schneller auf GPU

Integration mit anderen Tools

Untertitelgenerierung

# SRT-Untertitel generieren
whisper video.mp4 --output_format srt --language English

# Ausgabe: video.srt

Mit LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Transkription in RAG verwenden
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Audio aus Video extrahieren

# ffmpeg zum Extrahieren des Audios verwenden
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Dann transkribieren
whisper audio.wav

Bewährte Methoden

  1. Turbo-Modell verwenden – Beste Geschwindigkeit/Qualität für Englisch
  2. Sprache angeben – Schneller als automatische Erkennung
  3. Erste Eingabeaufforderung hinzufügen – Verbessert technische Begriffe
  4. GPU verwenden – 10–20× schneller
  5. Batch-Verarbeitung – Effizienter
  6. In WAV konvertieren – Bessere Kompatibilität
  7. Lange Audiodateien aufteilen – <30-Minuten-Abschnitte
  8. Sprachunterstützung prüfen – Qualität variiert je nach Sprache
  9. faster-whisper verwenden – 4× schneller als openai-whisper
  10. VRAM überwachen – Modellgröße an die Hardware anpassen

Leistung

ModellEchtzeitfaktor (CPU)Echtzeitfaktor (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Echtzeitfaktor: 0,1 = 10× schneller als Echtzeit

Sprachunterstützung

Am besten unterstützte Sprachen:

  • Englisch (en)
  • Spanisch (es)
  • Französisch (fr)
  • Deutsch (de)
  • Italienisch (it)
  • Portugiesisch (pt)
  • Russisch (ru)
  • Japanisch (ja)
  • Koreanisch (ko)
  • Chinesisch (zh)

Vollständige Liste: 99 Sprachen insgesamt

Einschränkungen

  1. Halluzinationen – Kann Text wiederholen oder erfinden
  2. Genauigkeit bei langen Audiodateien – Nimmt bei >30-minütigem Audio ab
  3. Sprechererkennung – Keine Diarisierung
  4. Akzente – Qualität variiert
  5. Hintergrundgeräusche – Können die Genauigkeit beeinträchtigen
  6. Echtzeitlatenz – Nicht für Live-Untertitelung geeignet

Ressourcen

Verwandte Skills