Communitygithub.com

math-inc/OpenGauss

Modelo de reconocimiento de voz multilingüe de OpenAI. Soporta 99 idiomas, transcripción, traducción al inglés e identificación de idiomas. Seis tamaños de modelo desde tiny (39M parámetros) hasta large (1550M parámetros). Útil para conversión de voz a texto, transcripción de podcasts o procesamiento de audio multilingüe. Ideal para ASR robusto y multilingüe.

¿Qué es OpenGauss?

OpenGauss es una herramienta avanzada de reconocimiento de voz multilingüe desarrollada por OpenAI, diseñada para transcribir audio en 99 idiomas y traducir al inglés. Es especialmente útil para desarrolladores que necesitan convertir conversaciones, podcasts o reuniones en texto, con soporte para modelos que van desde tiny (39M parámetros) hasta large (1550M parámetros). La habilidad se puede integrar fácilmente en flujos de trabajo de Python o mediante línea de comandos, y es compatible con plataformas como Claude Code, Cursor y Codex. Su funcionamiento se basa en cargar un modelo preentrenado, especificar el audio y obtener transcripciones con marcas de tiempo, segmentos y opciones como detección automática de idioma o traducción directa al inglés. Además, ofrece aceleración por GPU para un rendimiento hasta 20 veces más rápido y se puede combinar con herramientas como LangChain para aplicaciones de RAG (generación aumentada por recuperación).

Compatible con~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/math-inc/OpenGauss/tree/HEAD/skills/mlops/models/whisper

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Whisper - Reconocimiento de Voz Robusto

Modelo de reconocimiento de voz multilingüe de OpenAI.

Cuándo usar Whisper

Úsalo cuando:

  • Transcripción de voz a texto (99 idiomas)
  • Transcripción de podcasts/videos
  • Automatización de notas de reuniones
  • Traducción al inglés
  • Transcripción de audio ruidoso
  • Procesamiento de audio multilingüe

Métricas:

  • Más de 72.900 estrellas en GitHub
  • 99 idiomas compatibles
  • Entrenado con 680.000 horas de audio
  • Licencia MIT

Usa alternativas en su lugar:

  • AssemblyAI: API gestionada, diarización de hablantes
  • Deepgram: ASR en streaming en tiempo real
  • Google Speech-to-Text: Basado en la nube

Inicio rápido

Instalación

# Requiere Python 3.8-3.11
pip install -U openai-whisper

# Requiere ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Transcripción básica

import whisper

# Cargar modelo
model = whisper.load_model("base")

# Transcribir
result = model.transcribe("audio.mp3")

# Imprimir texto
print(result["text"])

# Acceder a segmentos
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Tamaños de modelo

# Modelos disponibles
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Cargar modelo específico
model = whisper.load_model("turbo")  # Más rápido, buena calidad
ModeloParámetrosSolo inglésMultilingüeVelocidadVRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

Recomendación: Usa turbo para la mejor relación velocidad/calidad, base para prototipado

Opciones de transcripción

Especificación de idioma

# Detección automática de idioma
result = model.transcribe("audio.mp3")

# Especificar idioma (más rápido)
result = model.transcribe("audio.mp3", language="en")

# Compatible: en, es, fr, de, it, pt, ru, ja, ko, zh y 89 más

Selección de tarea

# Transcripción (por defecto)
result = model.transcribe("audio.mp3", task="transcribe")

# Traducción al inglés
result = model.transcribe("spanish.mp3", task="translate")
# Entrada: Audio en español → Salida: Texto en inglés

Prompt inicial

# Mejorar precisión con contexto
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Este es un podcast técnico sobre aprendizaje automático e IA."
)

# Ayuda con:
# - Términos técnicos
# - Nombres propios
# - Vocabulario específico del dominio

Marcas de tiempo

# Marcas de tiempo a nivel de palabra
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Reintento con temperatura

# Reintentar con diferentes temperaturas si la confianza es baja
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Uso en línea de comandos

# Transcripción básica
whisper audio.mp3

# Especificar modelo
whisper audio.mp3 --model turbo

# Formatos de salida
whisper audio.mp3 --output_format txt     # Texto plano
whisper audio.mp3 --output_format srt     # Subtítulos
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON con marcas de tiempo

# Idioma
whisper audio.mp3 --language Spanish

# Traducción
whisper spanish.mp3 --task translate

Procesamiento por lotes

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Transcribiendo {audio_file}...")
    result = model.transcribe(audio_file)

    # Guardar en archivo
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Transcripción en tiempo real

# Para audio en streaming, usa faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Transcribir con streaming
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

Aceleración por GPU

import whisper

# Usa GPU automáticamente si está disponible
model = whisper.load_model("turbo")

# Forzar CPU
model = whisper.load_model("turbo", device="cpu")

# Forzar GPU
model = whisper.load_model("turbo", device="cuda")

# 10-20× más rápido en GPU

Integración con otras herramientas

Generación de subtítulos

# Generar subtítulos SRT
whisper video.mp4 --output_format srt --language English

# Salida: video.srt

Con LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Usar transcripción en RAG
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Extraer audio de video

# Usar ffmpeg para extraer audio
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Luego transcribir
whisper audio.wav

Mejores prácticas

  1. Usa el modelo turbo - Mejor velocidad/calidad para inglés
  2. Especifica el idioma - Más rápido que la detección automática
  3. Añade un prompt inicial - Mejora términos técnicos
  4. Usa GPU - 10-20× más rápido
  5. Procesa por lotes - Más eficiente
  6. Convierte a WAV - Mejor compatibilidad
  7. Divide audios largos - Fragmentos de <30 min
  8. Verifica la compatibilidad de idiomas - La calidad varía según el idioma
  9. Usa faster-whisper - 4× más rápido que openai-whisper
  10. Monitorea la VRAM - Ajusta el tamaño del modelo al hardware

Rendimiento

ModeloFactor tiempo real (CPU)Factor tiempo real (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Factor tiempo real: 0.1 = 10× más rápido que el tiempo real

Idiomas compatibles

Idiomas mejor soportados:

  • Inglés (en)
  • Español (es)
  • Francés (fr)
  • Alemán (de)
  • Italiano (it)
  • Portugués (pt)
  • Ruso (ru)
  • Japonés (ja)
  • Coreano (ko)
  • Chino (zh)

Lista completa: 99 idiomas en total

Limitaciones

  1. Alucinaciones - Puede repetir o inventar texto
  2. Precisión en audios largos - Degrada en >30 min
  3. Identificación de hablantes - Sin diarización
  4. Acentos - La calidad varía
  5. Ruido de fondo - Puede afectar la precisión
  6. Latencia en tiempo real - No adecuado para subtitulado en vivo

Recursos

Skills relacionados