Communitygithub.com

Whisper — Reconnaissance Vocale Robuste

Modèle de reconnaissance vocale multilingue d'OpenAI. Prend en charge 99 langues, la transcription, la traduction vers l'anglais et l'identification de la langue. Six tailles de modèle de tiny (39M paramètres) à large (1550M paramètres). Idéal pour la transcription de podcasts, le traitement audio multilingue ou la reconnaissance vocale robuste.

Qu'est-ce que Whisper — Reconnaissance Vocale Robuste ?

Whisper est un modèle de reconnaissance vocale open-source développé par OpenAI, conçu pour la transcription et la traduction automatique de contenu audio dans 99 langues. Ce skill est particulièrement utile pour les développeurs qui ont besoin de convertir de la parole en texte, que ce soit pour transcrire des podcasts, des réunions, du contenu vidéo ou pour analyser des enregistrements multilingues. Il supporte plusieurs plateformes et environnements, notamment Python (via la bibliothèque openai-whisper), la ligne de commande, ainsi que des intégrations avec des frameworks comme LangChain. Le modèle fonctionne avec six tailles différentes, allant de tiny (39M paramètres) à large (1550M paramètres) et un modèle turbo optimisé pour la vitesse. Il peut être exécuté sur CPU ou GPU, avec une accélération significative sur GPU (10 à 20 fois plus rapide). Whisper offre des fonctionnalités avancées comme les horodatages au niveau des mots, la spécification de la langue, la traduction vers l'anglais, les prompts initiaux pour améliorer la précision sur des sujets techniques, et le traitement par lots. Il est également compatible avec des alternatives plus rapides comme faster-whisper pour le streaming. Ce skill est donc un outil polyvalent et robuste pour toute tâche de reconnaissance vocale.

Compatible avec~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/OpenLAIR/dr-claw/tree/HEAD/skills/multimodal/whisper

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait Whisper — Reconnaissance Vocale Robuste ?

Modèle de reconnaissance vocale multilingue d'OpenAI.

Quand utiliser Whisper

À utiliser quand :

  • Transcription parole-texte (99 langues)
  • Transcription de podcasts/vidéos
  • Automatisation des notes de réunion
  • Traduction vers l'anglais
  • Transcription d'audio bruité
  • Traitement audio multilingue

Métriques :

  • 72 900+ étoiles GitHub
  • 99 langues supportées
  • Entraîné sur 680 000 heures d'audio
  • Licence MIT

Utilisez des alternatives à la place :

  • AssemblyAI : API gérée, diarisation des locuteurs
  • Deepgram : ASR en streaming en temps réel
  • Google Speech-to-Text : Basé sur le cloud

Démarrage rapide

Installation

# Nécessite Python 3.8-3.11
pip install -U openai-whisper

# Nécessite ffmpeg
# macOS : brew install ffmpeg
# Ubuntu : sudo apt install ffmpeg
# Windows : choco install ffmpeg

Transcription de base

import whisper

# Charger le modèle
model = whisper.load_model("base")

# Transcrire
result = model.transcribe("audio.mp3")

# Afficher le texte
print(result["text"])

# Accéder aux segments
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Tailles de modèle

# Modèles disponibles
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Charger un modèle spécifique
model = whisper.load_model("turbo")  # Le plus rapide, bonne qualité
ModèleParamètresAnglais uniquementMultilingueVitesseVRAM
tiny39M✓✓~32x~1 Go
base74M✓✓~16x~1 Go
small244M✓✓~6x~2 Go
medium769M✓✓~2x~5 Go
large1550M✗✓1x~10 Go
turbo809M✗✓~8x~6 Go

Recommandation : Utilisez turbo pour le meilleur rapport vitesse/qualité, base pour le prototypage.

Options de transcription

Spécification de la langue

# Détection automatique de la langue
result = model.transcribe("audio.mp3")

# Spécifier la langue (plus rapide)
result = model.transcribe("audio.mp3", language="en")

# Supportées : en, es, fr, de, it, pt, ru, ja, ko, zh, et 89 autres

Sélection de la tâche

# Transcription (par défaut)
result = model.transcribe("audio.mp3", task="transcribe")

# Traduction vers l'anglais
result = model.transcribe("spanish.mp3", task="translate")
# Entrée : audio espagnol → Sortie : texte anglais

Prompt initial

# Améliorer la précision avec du contexte
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Ceci est un podcast technique sur l'apprentissage automatique et l'IA."
)

# Utile pour :
# - Termes techniques
# - Noms propres
# - Vocabulaire spécifique à un domaine

Horodatages

# Horodatages au niveau des mots
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Repli de température

# Réessayer avec différentes températures si la confiance est faible
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Utilisation en ligne de commande

# Transcription de base
whisper audio.mp3

# Spécifier le modèle
whisper audio.mp3 --model turbo

# Formats de sortie
whisper audio.mp3 --output_format txt     # Texte brut
whisper audio.mp3 --output_format srt     # Sous-titres
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON avec horodatages

# Langue
whisper audio.mp3 --language Spanish

# Traduction
whisper spanish.mp3 --task translate

Traitement par lots

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Transcription de {audio_file}...")
    result = model.transcribe(audio_file)

    # Sauvegarder dans un fichier
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Transcription en temps réel

# Pour l'audio en streaming, utilisez faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Transcrire avec streaming
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

Accélération GPU

import whisper

# Utilise automatiquement le GPU si disponible
model = whisper.load_model("turbo")

# Forcer le CPU
model = whisper.load_model("turbo", device="cpu")

# Forcer le GPU
model = whisper.load_model("turbo", device="cuda")

# 10 à 20 fois plus rapide sur GPU

Intégration avec d'autres outils

Génération de sous-titres

# Générer des sous-titres SRT
whisper video.mp4 --output_format srt --language English

# Sortie : video.srt

Avec LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Utiliser la transcription dans un RAG
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Extraire l'audio d'une vidéo

# Utiliser ffmpeg pour extraire l'audio
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Puis transcrire
whisper audio.wav

Bonnes pratiques

  1. Utilisez le modèle turbo - Meilleur rapport vitesse/qualité pour l'anglais
  2. Spécifiez la langue - Plus rapide que la détection automatique
  3. Ajoutez un prompt initial - Améliore les termes techniques
  4. Utilisez le GPU - 10 à 20 fois plus rapide
  5. Traitement par lots - Plus efficace
  6. Convertissez en WAV - Meilleure compatibilité
  7. Divisez les longs audios - Par morceaux de moins de 30 minutes
  8. Vérifiez le support linguistique - La qualité varie selon la langue
  9. Utilisez faster-whisper - 4 fois plus rapide que openai-whisper
  10. Surveillez la VRAM - Adaptez la taille du modèle au matériel

Performances

ModèleFacteur temps réel (CPU)Facteur temps réel (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Facteur temps réel : 0,1 = 10× plus rapide que le temps réel

Support linguistique

Langues les mieux supportées :

  • Anglais (en)
  • Espagnol (es)
  • Français (fr)
  • Allemand (de)
  • Italien (it)
  • Portugais (pt)
  • Russe (ru)
  • Japonais (ja)
  • Coréen (ko)
  • Chinois (zh)

Liste complète : 99 langues au total

Limitations

  1. Hallucinations - Peut répéter ou inventer du texte
  2. Précision sur les longs audios - Se dégrade sur plus de 30 minutes
  3. Identification des locuteurs - Pas de diarisation
  4. Accents - La qualité varie
  5. Bruit de fond - Peut affecter la précision
  6. Latence temps réel - Pas adapté au sous-titrage en direct

Ressources

Skills associés