Que fait Whisper — Reconnaissance Vocale Robuste ?
Modèle de reconnaissance vocale multilingue d'OpenAI.
Quand utiliser Whisper
À utiliser quand :
- Transcription parole-texte (99 langues)
- Transcription de podcasts/vidéos
- Automatisation des notes de réunion
- Traduction vers l'anglais
- Transcription d'audio bruité
- Traitement audio multilingue
Métriques :
- 72 900+ étoiles GitHub
- 99 langues supportées
- Entraîné sur 680 000 heures d'audio
- Licence MIT
Utilisez des alternatives à la place :
- AssemblyAI : API gérée, diarisation des locuteurs
- Deepgram : ASR en streaming en temps réel
- Google Speech-to-Text : Basé sur le cloud
Démarrage rapide
Installation
# Nécessite Python 3.8-3.11
pip install -U openai-whisper
# Nécessite ffmpeg
# macOS : brew install ffmpeg
# Ubuntu : sudo apt install ffmpeg
# Windows : choco install ffmpeg
Transcription de base
import whisper
# Charger le modèle
model = whisper.load_model("base")
# Transcrire
result = model.transcribe("audio.mp3")
# Afficher le texte
print(result["text"])
# Accéder aux segments
for segment in result["segments"]:
print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")
Tailles de modèle
# Modèles disponibles
models = ["tiny", "base", "small", "medium", "large", "turbo"]
# Charger un modèle spécifique
model = whisper.load_model("turbo") # Le plus rapide, bonne qualité
| Modèle | Paramètres | Anglais uniquement | Multilingue | Vitesse | VRAM |
|---|---|---|---|---|---|
| tiny | 39M | ✓ | ✓ | ~32x | ~1 Go |
| base | 74M | ✓ | ✓ | ~16x | ~1 Go |
| small | 244M | ✓ | ✓ | ~6x | ~2 Go |
| medium | 769M | ✓ | ✓ | ~2x | ~5 Go |
| large | 1550M | ✗ | ✓ | 1x | ~10 Go |
| turbo | 809M | ✗ | ✓ | ~8x | ~6 Go |
Recommandation : Utilisez turbo pour le meilleur rapport vitesse/qualité, base pour le prototypage.
Options de transcription
Spécification de la langue
# Détection automatique de la langue
result = model.transcribe("audio.mp3")
# Spécifier la langue (plus rapide)
result = model.transcribe("audio.mp3", language="en")
# Supportées : en, es, fr, de, it, pt, ru, ja, ko, zh, et 89 autres
Sélection de la tâche
# Transcription (par défaut)
result = model.transcribe("audio.mp3", task="transcribe")
# Traduction vers l'anglais
result = model.transcribe("spanish.mp3", task="translate")
# Entrée : audio espagnol → Sortie : texte anglais
Prompt initial
# Améliorer la précision avec du contexte
result = model.transcribe(
"audio.mp3",
initial_prompt="Ceci est un podcast technique sur l'apprentissage automatique et l'IA."
)
# Utile pour :
# - Termes techniques
# - Noms propres
# - Vocabulaire spécifique à un domaine
Horodatages
# Horodatages au niveau des mots
result = model.transcribe("audio.mp3", word_timestamps=True)
for segment in result["segments"]:
for word in segment["words"]:
print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")
Repli de température
# Réessayer avec différentes températures si la confiance est faible
result = model.transcribe(
"audio.mp3",
temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)
Utilisation en ligne de commande
# Transcription de base
whisper audio.mp3
# Spécifier le modèle
whisper audio.mp3 --model turbo
# Formats de sortie
whisper audio.mp3 --output_format txt # Texte brut
whisper audio.mp3 --output_format srt # Sous-titres
whisper audio.mp3 --output_format vtt # WebVTT
whisper audio.mp3 --output_format json # JSON avec horodatages
# Langue
whisper audio.mp3 --language Spanish
# Traduction
whisper spanish.mp3 --task translate
Traitement par lots
import os
audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]
for audio_file in audio_files:
print(f"Transcription de {audio_file}...")
result = model.transcribe(audio_file)
# Sauvegarder dans un fichier
output_file = audio_file.replace(".mp3", ".txt")
with open(output_file, "w") as f:
f.write(result["text"])
Transcription en temps réel
# Pour l'audio en streaming, utilisez faster-whisper
# pip install faster-whisper
from faster_whisper import WhisperModel
model = WhisperModel("base", device="cuda", compute_type="float16")
# Transcrire avec streaming
segments, info = model.transcribe("audio.mp3", beam_size=5)
for segment in segments:
print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")
Accélération GPU
import whisper
# Utilise automatiquement le GPU si disponible
model = whisper.load_model("turbo")
# Forcer le CPU
model = whisper.load_model("turbo", device="cpu")
# Forcer le GPU
model = whisper.load_model("turbo", device="cuda")
# 10 à 20 fois plus rapide sur GPU
Intégration avec d'autres outils
Génération de sous-titres
# Générer des sous-titres SRT
whisper video.mp4 --output_format srt --language English
# Sortie : video.srt
Avec LangChain
from langchain.document_loaders import WhisperTranscriptionLoader
loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()
# Utiliser la transcription dans un RAG
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())
Extraire l'audio d'une vidéo
# Utiliser ffmpeg pour extraire l'audio
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav
# Puis transcrire
whisper audio.wav
Bonnes pratiques
- Utilisez le modèle turbo - Meilleur rapport vitesse/qualité pour l'anglais
- Spécifiez la langue - Plus rapide que la détection automatique
- Ajoutez un prompt initial - Améliore les termes techniques
- Utilisez le GPU - 10 à 20 fois plus rapide
- Traitement par lots - Plus efficace
- Convertissez en WAV - Meilleure compatibilité
- Divisez les longs audios - Par morceaux de moins de 30 minutes
- Vérifiez le support linguistique - La qualité varie selon la langue
- Utilisez faster-whisper - 4 fois plus rapide que openai-whisper
- Surveillez la VRAM - Adaptez la taille du modèle au matériel
Performances
| Modèle | Facteur temps réel (CPU) | Facteur temps réel (GPU) |
|---|---|---|
| tiny | ~0.32 | ~0.01 |
| base | ~0.16 | ~0.01 |
| turbo | ~0.08 | ~0.01 |
| large | ~1.0 | ~0.05 |
Facteur temps réel : 0,1 = 10× plus rapide que le temps réel
Support linguistique
Langues les mieux supportées :
- Anglais (en)
- Espagnol (es)
- Français (fr)
- Allemand (de)
- Italien (it)
- Portugais (pt)
- Russe (ru)
- Japonais (ja)
- Coréen (ko)
- Chinois (zh)
Liste complète : 99 langues au total
Limitations
- Hallucinations - Peut répéter ou inventer du texte
- Précision sur les longs audios - Se dégrade sur plus de 30 minutes
- Identification des locuteurs - Pas de diarisation
- Accents - La qualité varie
- Bruit de fond - Peut affecter la précision
- Latence temps réel - Pas adapté au sous-titrage en direct
Ressources
- GitHub : https://github.com/openai/whisper ⭐ 72 900+
- Article : https://arxiv.org/abs/2212.04356
- Fiche du modèle : https://github.com/openai/whisper/blob/main/model-card.md
- Colab : Disponible dans le dépôt
- Licence : MIT