Faster Whisper
Transcripción local de voz a texto usando faster-whisper, una reimplementación en CTranslate2 del Whisper de OpenAI que es de 4 a 6 veces más rápido con precisión idéntica. Con aceleración por GPU, la transcripción alcanza aproximadamente 20x en tiempo real (un archivo de audio de 10 minutos en ~30 segundos).
Cuándo usarlo
Usa este skill cuando necesites:
- Transcribir archivos de audio/vídeo: reuniones, entrevistas, podcasts, clases, vídeos de YouTube
- Convertir voz a texto localmente: sin costes de API, funciona sin conexión (tras descargar el modelo)
- Procesar por lotes varios archivos de audio: eficiente para grandes colecciones
- Generar subtítulos: marcas de tiempo a nivel de palabra disponibles
- Transcripción multilingüe: soporta más de 99 idiomas con detección automática
Frases de activación: "transcribe este audio", "convierte voz a texto", "qué dijo", "haz una transcripción", "audio a texto", "subtitula este vídeo"
Cuándo NO usarlo:
- Transcripción en tiempo real/streaming (usa herramientas optimizadas para streaming)
- Entornos solo en la nube sin computación local
- Archivos de menos de 10 segundos donde la latencia de la API no importa
Referencia rápida
| Tarea | Comando | Notas |
|---|---|---|
| Transcripción básica | ./scripts/transcribe audio.mp3 | Usa distil-large-v3 por defecto |
| Más rápido en inglés | ./scripts/transcribe audio.mp3 --model distil-medium.en --language en | Solo inglés, 6.8 veces más rápido |
| Máxima precisión | ./scripts/transcribe audio.mp3 --model large-v3-turbo --beam-size 10 | Más lento pero mejor calidad |
| Marcas de tiempo por palabra | ./scripts/transcribe audio.mp3 --word-timestamps | Para subtítulos |
| Salida JSON | ./scripts/transcribe audio.mp3 --json -o output.json | Acceso programático |
| Multilingüe | ./scripts/transcribe audio.mp3 --model large-v3-turbo | Detecta idioma automáticamente |
| Eliminar silencios | ./scripts/transcribe audio.mp3 --vad | Detección de actividad de voz |
Selección de modelo
Elige el modelo adecuado para tus necesidades:
digraph model_selection {
rankdir=LR;
node [shape=box, style=rounded];
start [label="Inicio", shape=doublecircle];
need_accuracy [label="¿Necesitas máxima\nprecisión?", shape=diamond];
multilingual [label="¿Contenido\nmultilingüe?", shape=diamond];
resource_constrained [label="¿Recursos\nlimitados?", shape=diamond];
large_v3 [label="large-v3\no\nlarge-v3-turbo", style="rounded,filled", fillcolor=lightblue];
large_turbo [label="large-v3-turbo", style="rounded,filled", fillcolor=lightblue];
distil_large [label="distil-large-v3\n(por defecto)", style="rounded,filled", fillcolor=lightgreen];
distil_medium [label="distil-medium.en", style="rounded,filled", fillcolor=lightyellow];
distil_small [label="distil-small.en", style="rounded,filled", fillcolor=lightyellow];
start -> need_accuracy;
need_accuracy -> large_v3 [label="sí"];
need_accuracy -> multilingual [label="no"];
multilingual -> large_turbo [label="sí"];
multilingual -> resource_constrained [label="no (inglés)"];
resource_constrained -> distil_small [label="móvil/edge"];
resource_constrained -> distil_medium [label="algunas limitaciones"];
resource_constrained -> distil_large [label="no"];
}
Tabla de modelos
Modelos estándar (Whisper completo)
| Modelo | Tamaño | Velocidad | Precisión | Caso de uso |
|---|---|---|---|---|
tiny / tiny.en | 39M | Más rápido | Básica | Borradores rápidos |
base / base.en | 74M | Muy rápido | Buena | Uso general |
small / small.en | 244M | Rápido | Mejor | La mayoría de tareas |
medium / medium.en | 769M | Moderado | Alta | Transcripción de calidad |
large-v1/v2/v3 | 1.5GB | Lento | Óptima | Máxima precisión |
large-v3-turbo | 809M | Rápido | Excelente | Recomendado para precisión |
Modelos destilados (~6 veces más rápidos, ~1% de diferencia en WER)
| Modelo | Tamaño | Velocidad vs estándar | Precisión | Caso de uso |
|---|---|---|---|---|
distil-large-v3 | 756M | ~6.3 veces más rápido | 9.7% WER | Por defecto, mejor equilibrio |
distil-large-v2 | 756M | ~5.8 veces más rápido | 10.1% WER | Alternativa |
distil-medium.en | 394M | ~6.8 veces más rápido | 11.1% WER | Solo inglés, recursos limitados |
distil-small.en | 166M | ~5.6 veces más rápido | 12.1% WER | Dispositivos móviles/edge |
Los modelos .en son solo para inglés y ligeramente más rápidos/mejores para contenido en inglés.
Configuración
Linux / macOS / WSL2
# Ejecuta el script de configuración (crea un entorno virtual, instala dependencias, detecta GPU automáticamente)
./setup.sh
Windows (Nativo)
# Ejecuta desde PowerShell (instala automáticamente Python y ffmpeg si faltan, mediante winget)
.\setup.ps1
El script de configuración de Windows:
- Instala automáticamente Python 3.12 mediante winget si no se encuentra
- Instala automáticamente ffmpeg mediante winget si no se encuentra
- Detecta GPU NVIDIA e instala PyTorch con soporte CUDA
- Crea un entorno virtual e instala todas las dependencias
Requisitos:
- Linux/macOS/WSL2: Python 3.10+, ffmpeg
- Windows: ¡Nada! El script de configuración instala los requisitos previos automáticamente mediante winget
Soporte de plataformas
| Plataforma | Aceleración | Velocidad | Instalación automática |
|---|---|---|---|
| Windows + GPU NVIDIA | CUDA | ~20x en tiempo real 🚀 | ✅ Completa |
| Linux + GPU NVIDIA | CUDA | ~20x en tiempo real 🚀 | Requisitos manuales |
| WSL2 + GPU NVIDIA | CUDA | ~20x en tiempo real 🚀 | Requisitos manuales |
| macOS Apple Silicon | CPU* | ~3-5x en tiempo real | Requisitos manuales |
| macOS Intel | CPU | ~1-2x en tiempo real | Requisitos manuales |
| Windows (sin GPU) | CPU | ~1x en tiempo real | ✅ Completa |
| Linux (sin GPU) | CPU | ~1x en tiempo real | Requisitos manuales |
*faster-whisper usa CTranslate2 que es solo CPU en macOS, pero Apple Silicon es lo suficientemente rápido para uso práctico.
Soporte GPU (¡IMPORTANTE!)
El script de configuración detecta automáticamente tu GPU e instala PyTorch con CUDA. Usa siempre GPU si está disponible: la transcripción con CPU es extremadamente lenta.
| Hardware | Velocidad | Vídeo de 9 minutos |
|---|---|---|
| RTX 3070 (GPU) | ~20x en tiempo real | ~27 seg |
| CPU (int8) | ~0.3x en tiempo real | ~30 min |
Si la configuración no detectó tu GPU, instala PyTorch con CUDA manualmente:
Linux/macOS/WSL2:
# Para CUDA 12.x
uv pip install --python .venv/bin/python torch --index-url https://download.pytorch.org/whl/cu121
# Para CUDA 11.x
uv pip install --python .venv/bin/python torch --index-url https://download.pytorch.org/whl/cu118
Windows:
# Para CUDA 12.x
.venv\Scripts\pip install torch --index-url https://download.pytorch.org/whl/cu121
# Para CUDA 11.x
.venv\Scripts\pip install torch --index-url https://download.pytorch.org/whl/cu118
- Usuarios de Windows: Asegúrate de tener instalados los controladores NVIDIA
- Usuarios de WSL2: Asegúrate de tener instalados los controladores NVIDIA CUDA para WSL en Windows
Uso
Linux/macOS/WSL2:
# Transcripción básica
./scripts/transcribe audio.mp3
# Con modelo específico
./scripts/transcribe audio.wav --model large-v3-turbo
# Con marcas de tiempo por palabra
./scripts/transcribe audio.mp3 --word-timestamps
# Especificar idioma (más rápido que la detección automática)
./scripts/transcribe audio.mp3 --language en
# Salida JSON
./scripts/transcribe audio.mp3 --json
Windows (cmd o PowerShell):
# Transcripción básica
.\scripts\transcribe.cmd audio.mp3
# Con modelo específico
.\scripts\transcribe.cmd audio.wav --model large-v3-turbo
# Con marcas de tiempo por palabra (también funciona la sintaxis nativa de PowerShell)
.\scripts\transcribe.ps1 audio.mp3 -WordTimestamps
# Salida JSON
.\scripts\transcribe.cmd audio.mp3 --json
Opciones
--model, -m Nombre del modelo (por defecto: distil-large-v3)
--language, -l Código de idioma (ej. en, es, fr - detección automática si se omite)
--word-timestamps Incluye marcas de tiempo a nivel de palabra
--beam-size Tamaño de búsqueda de haz (por defecto: 5, mayor = más preciso pero más lento)
--vad Habilita detección de actividad de voz (elimina silencios)
--json, -j Salida en JSON
--output, -o Guarda la transcripción en un archivo
--device cpu o cuda (detección automática)
--compute-type int8, float16, float32 (por defecto: optimizado automáticamente)
--quiet, -q Suprime mensajes de progreso
Ejemplos
# Transcribir audio de YouTube (tras extracción con yt-dlp)
yt-dlp -x --audio-format mp3 <URL> -o audio.mp3
./scripts/transcribe audio.mp3
# Transcripción por lotes con salida JSON
for file in *.mp3; do
./scripts/transcribe "$file" --json > "${file%.mp3}.json"
done
# Transcripción de alta precisión con tamaño de haz mayor
./scripts/transcribe audio.mp3 \
--model large-v3-turbo --beam-size 10 --word-timestamps
# Transcripción rápida solo en inglés
./scripts/transcribe audio.mp3 \
--model distil-medium.en --language en
# Transcripción con VAD (elimina silencios)
./scripts/transcribe audio.mp3 --vad
Errores comunes
| Error | Problema | Solución |
|---|---|---|
| Usar CPU cuando hay GPU disponible | Transcripción de 10 a 20 veces más lenta | Verifica nvidia-smi en Windows/Linux; comprueba la instalación de CUDA |
| No especificar idioma | Pierde tiempo detectando automáticamente contenido conocido | Usa --language en cuando conozcas el idioma |
| Usar el modelo incorrecto | Lentitud innecesaria o mala precisión | El distil-large-v3 por defecto es excelente; solo usa large-v3 si hay problemas de precisión |
| Ignorar modelos destilados | Pierdes una aceleración de 6x con <1% de pérdida de precisión | Prueba distil-large-v3 antes de recurrir a modelos estándar |
| Olvidar ffmpeg | La configuración falla o no se puede procesar el audio | El script de configuración lo maneja; las instalaciones manuales necesitan ffmpeg por separado |
| Errores de memoria insuficiente | Modelo demasiado grande para la VRAM/RAM disponible | Usa un modelo más pequeño o --compute-type int8 |
| Sobredimensionar el beam size | Rendimientos decrecientes más allá de beam-size 5-7 | El valor por defecto 5 es suficiente; prueba 10 para transcripciones críticas |
Notas de rendimiento
- Primera ejecución: Descarga el modelo en
~/.cache/huggingface/(una sola vez) - GPU: Usa CUDA automáticamente si está disponible (~10-20x más rápido)
- Cuantización: Se usa INT8 en CPU para una aceleración de ~4x con pérdida mínima de precisión
- Memoria:
distil-large-v3: ~2GB RAM / ~1GB VRAMlarge-v3-turbo: ~4GB RAM / ~2GB VRAMtiny/base: <1GB RAM
¿Por qué faster-whisper?
- Velocidad: ~4-6 veces más rápido que el Whisper original de OpenAI
- Precisión: Idéntica (usa los mismos pesos del modelo)
- Eficiencia: Menor uso de memoria mediante cuantización
- Listo para producción: Backend C++ estable (CTranslate2)
- Modelos destilados: ~6 veces más rápido con <1% de pérdida de precisión
Solución de problemas
"CUDA no disponible — usando CPU": Instala PyTorch con CUDA (consulta la sección de Soporte GPU más arriba)
La configuración falla: Asegúrate de que Python 3.10+ esté instalado
Memoria insuficiente: Usa un modelo más pequeño o --compute-type int8
Lento en CPU: Esperado: usa GPU para transcripción práctica
Fallo en la descarga del modelo: Verifica los permisos de ~/.cache/huggingface/ (Linux/macOS) o %USERPROFILE%\.cache\huggingface\ (Windows)
Específico de Windows
"winget no encontrado": Instala App Installer desde Microsoft Store, o instala Python/ffmpeg manualmente
"Python no está en PATH después de la instalación": Cierra y vuelve a abrir la terminal, luego ejecuta setup.ps1 de nuevo
Error de directiva de ejecución de PowerShell: Ejecuta Set-ExecutionPolicy -Scope CurrentUser -ExecutionPolicy RemoteSigned o usa transcribe.cmd en su lugar
nvidia-smi no encontrado pero tienes GPU: Instala controladores NVIDIA: los controladores Game Ready o Studio incluyen nvidia-smi