Whisper - Reconocimiento de Voz Robusto
Modelo de reconocimiento de voz multilingüe de OpenAI.
Cuándo usar Whisper
Úsalo cuando:
- Transcripción de voz a texto (99 idiomas)
- Transcripción de podcasts/videos
- Automatización de notas de reuniones
- Traducción al inglés
- Transcripción de audio ruidoso
- Procesamiento de audio multilingüe
Métricas:
- Más de 72.900 estrellas en GitHub
- 99 idiomas compatibles
- Entrenado con 680.000 horas de audio
- Licencia MIT
Usa alternativas en su lugar:
- AssemblyAI: API gestionada, diarización de hablantes
- Deepgram: ASR en streaming en tiempo real
- Google Speech-to-Text: Basado en la nube
Inicio rápido
Instalación
# Requiere Python 3.8-3.11
pip install -U openai-whisper
# Requiere ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg
Transcripción básica
import whisper
# Cargar modelo
model = whisper.load_model("base")
# Transcribir
result = model.transcribe("audio.mp3")
# Imprimir texto
print(result["text"])
# Acceder a segmentos
for segment in result["segments"]:
print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")
Tamaños de modelo
# Modelos disponibles
models = ["tiny", "base", "small", "medium", "large", "turbo"]
# Cargar modelo específico
model = whisper.load_model("turbo") # Más rápido, buena calidad
| Modelo | Parámetros | Solo inglés | Multilingüe | Velocidad | VRAM |
|---|---|---|---|---|---|
| tiny | 39M | ✓ | ✓ | ~32x | ~1 GB |
| base | 74M | ✓ | ✓ | ~16x | ~1 GB |
| small | 244M | ✓ | ✓ | ~6x | ~2 GB |
| medium | 769M | ✓ | ✓ | ~2x | ~5 GB |
| large | 1550M | ✗ | ✓ | 1x | ~10 GB |
| turbo | 809M | ✗ | ✓ | ~8x | ~6 GB |
Recomendación: Usa turbo para la mejor relación velocidad/calidad, base para prototipado
Opciones de transcripción
Especificación de idioma
# Detección automática de idioma
result = model.transcribe("audio.mp3")
# Especificar idioma (más rápido)
result = model.transcribe("audio.mp3", language="en")
# Compatible: en, es, fr, de, it, pt, ru, ja, ko, zh y 89 más
Selección de tarea
# Transcripción (por defecto)
result = model.transcribe("audio.mp3", task="transcribe")
# Traducción al inglés
result = model.transcribe("spanish.mp3", task="translate")
# Entrada: Audio en español → Salida: Texto en inglés
Prompt inicial
# Mejorar precisión con contexto
result = model.transcribe(
"audio.mp3",
initial_prompt="Este es un podcast técnico sobre aprendizaje automático e IA."
)
# Ayuda con:
# - Términos técnicos
# - Nombres propios
# - Vocabulario específico del dominio
Marcas de tiempo
# Marcas de tiempo a nivel de palabra
result = model.transcribe("audio.mp3", word_timestamps=True)
for segment in result["segments"]:
for word in segment["words"]:
print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")
Reintento con temperatura
# Reintentar con diferentes temperaturas si la confianza es baja
result = model.transcribe(
"audio.mp3",
temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)
Uso en línea de comandos
# Transcripción básica
whisper audio.mp3
# Especificar modelo
whisper audio.mp3 --model turbo
# Formatos de salida
whisper audio.mp3 --output_format txt # Texto plano
whisper audio.mp3 --output_format srt # Subtítulos
whisper audio.mp3 --output_format vtt # WebVTT
whisper audio.mp3 --output_format json # JSON con marcas de tiempo
# Idioma
whisper audio.mp3 --language Spanish
# Traducción
whisper spanish.mp3 --task translate
Procesamiento por lotes
import os
audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]
for audio_file in audio_files:
print(f"Transcribiendo {audio_file}...")
result = model.transcribe(audio_file)
# Guardar en archivo
output_file = audio_file.replace(".mp3", ".txt")
with open(output_file, "w") as f:
f.write(result["text"])
Transcripción en tiempo real
# Para audio en streaming, usa faster-whisper
# pip install faster-whisper
from faster_whisper import WhisperModel
model = WhisperModel("base", device="cuda", compute_type="float16")
# Transcribir con streaming
segments, info = model.transcribe("audio.mp3", beam_size=5)
for segment in segments:
print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")
Aceleración por GPU
import whisper
# Usa GPU automáticamente si está disponible
model = whisper.load_model("turbo")
# Forzar CPU
model = whisper.load_model("turbo", device="cpu")
# Forzar GPU
model = whisper.load_model("turbo", device="cuda")
# 10-20× más rápido en GPU
Integración con otras herramientas
Generación de subtítulos
# Generar subtítulos SRT
whisper video.mp4 --output_format srt --language English
# Salida: video.srt
Con LangChain
from langchain.document_loaders import WhisperTranscriptionLoader
loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()
# Usar transcripción en RAG
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())
Extraer audio de video
# Usar ffmpeg para extraer audio
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav
# Luego transcribir
whisper audio.wav
Mejores prácticas
- Usa el modelo turbo - Mejor velocidad/calidad para inglés
- Especifica el idioma - Más rápido que la detección automática
- Añade un prompt inicial - Mejora términos técnicos
- Usa GPU - 10-20× más rápido
- Procesa por lotes - Más eficiente
- Convierte a WAV - Mejor compatibilidad
- Divide audios largos - Fragmentos de <30 min
- Verifica la compatibilidad de idiomas - La calidad varía según el idioma
- Usa faster-whisper - 4× más rápido que openai-whisper
- Monitorea la VRAM - Ajusta el tamaño del modelo al hardware
Rendimiento
| Modelo | Factor tiempo real (CPU) | Factor tiempo real (GPU) |
|---|---|---|
| tiny | ~0.32 | ~0.01 |
| base | ~0.16 | ~0.01 |
| turbo | ~0.08 | ~0.01 |
| large | ~1.0 | ~0.05 |
Factor tiempo real: 0.1 = 10× más rápido que el tiempo real
Idiomas compatibles
Idiomas mejor soportados:
- Inglés (en)
- Español (es)
- Francés (fr)
- Alemán (de)
- Italiano (it)
- Portugués (pt)
- Ruso (ru)
- Japonés (ja)
- Coreano (ko)
- Chino (zh)
Lista completa: 99 idiomas en total
Limitaciones
- Alucinaciones - Puede repetir o inventar texto
- Precisión en audios largos - Degrada en >30 min
- Identificación de hablantes - Sin diarización
- Acentos - La calidad varía
- Ruido de fondo - Puede afectar la precisión
- Latencia en tiempo real - No adecuado para subtitulado en vivo
Recursos
- GitHub: https://github.com/openai/whisper ⭐ 72.900+
- Artículo: https://arxiv.org/abs/2212.04356
- Ficha del modelo: https://github.com/openai/whisper/blob/main/model-card.md
- Colab: Disponible en el repositorio
- Licencia: MIT