Communitygithub.com

OpenLAIR/dr-claw

Modelo de reconocimiento de voz multilingüe de propósito general de OpenAI. Soporta 99 idiomas, transcripción, traducción al inglés e identificación de idioma. Seis tamaños de modelo desde tiny (39M parámetros) hasta large (1550M parámetros). Úselo para conversión de voz a texto, transcripción de podcasts o procesamiento de audio multilingüe. Ideal para ASR robusto y multilingüe.

¿Qué es dr-claw?

Whisper es un modelo de reconocimiento de voz multilingüe de código abierto desarrollado por OpenAI. Permite la transcripción de audio a texto en 99 idiomas, traducción al inglés e identificación de idioma. Es especialmente útil para desarrolladores que necesitan procesar grandes volúmenes de audio, como transcripciones de reuniones, podcasts o contenido multimedia, incluso en presencia de ruido de fondo. La habilidad soporta seis tamaños de modelo (tiny, base, small, medium, large y turbo), que equilibran velocidad y precisión según el hardware disponible. Se integra fácilmente con herramientas como LangChain para flujos RAG (generación aumentada por recuperación) y admite aceleración por GPU para un procesamiento hasta 20 veces más rápido. También ofrece funciones avanzadas como marcas de tiempo por palabra, indicaciones iniciales para mejorar la precisión en dominios específicos y un modo de respaldo por temperatura para aumentar la confianza en las transcripciones. Whisper se puede usar desde la línea de comandos o mediante una API de Python, y es compatible con formatos de salida como texto plano, subtítulos (SRT, VTT) y JSON. Aunque no realiza diarización de hablantes y su precisión puede degradarse en audios muy largos, es una de las soluciones más robustas y populares para ASR multilingüe, con más de 72.900 estrellas en GitHub y licencia MIT.

Compatible con~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/OpenLAIR/dr-claw/tree/HEAD/skills/multimodal/whisper

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Whisper - Reconocimiento de Voz Robusto

Modelo de reconocimiento de voz multilingüe de OpenAI.

Cuándo usar Whisper

Úselo cuando:

  • Transcripción de voz a texto (99 idiomas)
  • Transcripción de podcasts/videos
  • Automatización de notas de reuniones
  • Traducción al inglés
  • Transcripción de audio ruidoso
  • Procesamiento de audio multilingüe

Métricas:

  • 72.900+ estrellas en GitHub
  • 99 idiomas compatibles
  • Entrenado con 680.000 horas de audio
  • Licencia MIT

Alternativas:

  • AssemblyAI: API administrada, diarización de hablantes
  • Deepgram: ASR por streaming en tiempo real
  • Google Speech-to-Text: Basado en la nube

Inicio rápido

Instalación

# Requiere Python 3.8-3.11
pip install -U openai-whisper

# Requiere ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Transcripción básica

import whisper

# Cargar modelo
model = whisper.load_model("base")

# Transcribir
result = model.transcribe("audio.mp3")

# Imprimir texto
print(result["text"])

# Acceder a segmentos
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Tamaños de modelo

# Modelos disponibles
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Cargar modelo específico
model = whisper.load_model("turbo")  # Más rápido, buena calidad
ModeloParámetrosSolo inglésMultilingüeVelocidadVRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

Recomendación: Use turbo para la mejor relación velocidad/calidad, base para prototipado

Opciones de transcripción

Especificación de idioma

# Detectar idioma automáticamente
result = model.transcribe("audio.mp3")

# Especificar idioma (más rápido)
result = model.transcribe("audio.mp3", language="en")

# Idiomas compatibles: en, es, fr, de, it, pt, ru, ja, ko, zh y 89 más

Selección de tarea

# Transcripción (por defecto)
result = model.transcribe("audio.mp3", task="transcribe")

# Traducción al inglés
result = model.transcribe("spanish.mp3", task="translate")
# Entrada: audio en español → Salida: texto en inglés

Indicación inicial

# Mejorar precisión con contexto
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Este es un podcast técnico sobre aprendizaje automático e IA."
)

# Ayuda con:
# - Términos técnicos
# - Nombres propios
# - Vocabulario específico del dominio

Marcas de tiempo

# Marcas de tiempo a nivel de palabra
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Respaldo por temperatura

# Reintentar con diferentes temperaturas si la confianza es baja
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Uso desde línea de comandos

# Transcripción básica
whisper audio.mp3

# Especificar modelo
whisper audio.mp3 --model turbo

# Formatos de salida
whisper audio.mp3 --output_format txt     # Texto plano
whisper audio.mp3 --output_format srt     # Subtítulos
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON con marcas de tiempo

# Idioma
whisper audio.mp3 --language Spanish

# Traducción
whisper spanish.mp3 --task translate

Procesamiento por lotes

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Transcribiendo {audio_file}...")
    result = model.transcribe(audio_file)

    # Guardar a archivo
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Transcripción en tiempo real

# Para audio en streaming, use faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Transcribir con streaming
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

Aceleración por GPU

import whisper

# Usa GPU automáticamente si está disponible
model = whisper.load_model("turbo")

# Forzar CPU
model = whisper.load_model("turbo", device="cpu")

# Forzar GPU
model = whisper.load_model("turbo", device="cuda")

# 10-20× más rápido en GPU

Integración con otras herramientas

Generación de subtítulos

# Generar subtítulos SRT
whisper video.mp4 --output_format srt --language English

# Salida: video.srt

Con LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Usar la transcripción en RAG
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Extraer audio de video

# Usar ffmpeg para extraer audio
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Luego transcribir
whisper audio.wav

Mejores prácticas

  1. Use el modelo turbo - Mejor velocidad/calidad para inglés
  2. Especifique el idioma - Más rápido que la detección automática
  3. Agregue una indicación inicial - Mejora términos técnicos
  4. Use GPU - 10-20× más rápido
  5. Procese por lotes - Más eficiente
  6. Convierta a WAV - Mejor compatibilidad
  7. Divida audios largos - Fragmentos <30 min
  8. Verifique la compatibilidad de idiomas - La calidad varía según el idioma
  9. Use faster-whisper - 4× más rápido que openai-whisper
  10. Monitoree la VRAM - Ajuste el tamaño del modelo al hardware

Rendimiento

ModeloFactor de tiempo real (CPU)Factor de tiempo real (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Factor de tiempo real: 0.1 = 10× más rápido que el tiempo real

Compatibilidad de idiomas

Idiomas principales:

  • Inglés (en)
  • Español (es)
  • Francés (fr)
  • Alemán (de)
  • Italiano (it)
  • Portugués (pt)
  • Ruso (ru)
  • Japonés (ja)
  • Coreano (ko)
  • Chino (zh)

Lista completa: 99 idiomas en total

Limitaciones

  1. Alucinaciones - Puede repetir o inventar texto
  2. Precisión en audios largos - Disminuye en audios >30 min
  3. Identificación de hablantes - Sin diarización
  4. Acentos - La calidad varía
  5. Ruido de fondo - Puede afectar la precisión
  6. Latencia en tiempo real - No apto para subtitulado en vivo

Recursos

Skills relacionados