Communitygithub.com

graniet/kheish

Modelo de reconocimiento de voz multilingüe de OpenAI. Soporta 99 idiomas, transcripción, traducción al inglés e identificación de idioma. Seis tamaños de modelo desde tiny (39M parámetros) hasta large (1550M parámetros). Úselo para conversión de voz a texto, transcripción de podcasts o procesamiento de audio multilingüe. Ideal para ASR robusto y multilingüe.

¿Qué es kheish?

Kheish es una skill de repositorio local que actúa como un adaptador para el modelo Whisper de OpenAI (reconocimiento de voz robusto y multilingüe). Provee funcionalidades completas de transcripción de voz a texto (99 idiomas), traducción automática al inglés e identificación de idiomas, con soporte para seis tamaños de modelo (desde tiny con 39M de parámetros hasta large con 1550M). La skill incluye mapeos de herramientas heredadas a herramientas modernas (por ejemplo, terminal a bash, web_extract a web_fetch) y resuelve archivos locales desde la variable de entorno KHEISH_SKILL_DIR. Whisper, entrenado en 680,000 horas de audio, ofrece alta precisión incluso en audio ruidoso y es útil para automatización de reuniones, generación de subtítulos y procesamiento por lotes. La skill documenta instalación, uso en Python y línea de comandos, opciones de transcripción (como marcas de tiempo a nivel de palabra, temperatura de muestreo, y prompt inicial), aceleración por GPU, integración con LangChain, extracción de audio de video y mejores prácticas. Soporta plataformas como OpenAI Whisper, faster-whisper, LangChain y ffmpeg. La skill permanece inactiva hasta ser explícitamente activada, lo que permite un uso controlado.

Compatible con~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/graniet/kheish/tree/HEAD/skills/mlops/models/whisper

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Compatibilidad de Kheish

Esta skill es local al repositorio y permanece inactiva hasta que se activa explícitamente.

Cuando las instrucciones originales se refieren a nombres de herramientas heredados, use estos mapeos de Kheish:

  • terminal => bash
  • web_extract => web_fetch, más web_search cuando se necesita descubrimiento
  • search_files => grep_search y glob_search
  • Las herramientas browser_* requieren una herramienta con capacidad de navegador o MCP; si no hay ninguna disponible, use la superficie más cercana disponible y dígalo explícitamente

Cuando las instrucciones mencionen archivos auxiliares locales, resuélvalos desde ${KHEISH_SKILL_DIR}.

Whisper - Reconocimiento de Voz Robusto

Modelo de reconocimiento de voz multilingüe de OpenAI.

Cuándo usar Whisper

Úselo cuando:

  • Transcripción de voz a texto (99 idiomas)
  • Transcripción de podcasts/videos
  • Automatización de notas de reuniones
  • Traducción al inglés
  • Transcripción de audio ruidoso
  • Procesamiento de audio multilingüe

Métricas:

  • 72,900+ estrellas en GitHub
  • 99 idiomas soportados
  • Entrenado en 680,000 horas de audio
  • Licencia MIT

Use alternativas en su lugar:

  • AssemblyAI: API administrada, diarización de hablantes
  • Deepgram: ASR de transmisión en tiempo real
  • Google Speech-to-Text: Basado en la nube

Inicio rápido

Instalación

# Requiere Python 3.8-3.11
pip install -U openai-whisper

# Requiere ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Transcripción básica

import whisper

# Cargar modelo
model = whisper.load_model("base")

# Transcribir
result = model.transcribe("audio.mp3")

# Imprimir texto
print(result["text"])

# Acceder a segmentos
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Tamaños de modelo

# Modelos disponibles
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Cargar modelo específico
model = whisper.load_model("turbo")  # Más rápido, buena calidad
ModeloParámetrosSolo inglésMultilingüeVelocidadVRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

Recomendación: Use turbo para la mejor velocidad/calidad, base para prototipado

Opciones de transcripción

Especificación de idioma

# Detectar idioma automáticamente
result = model.transcribe("audio.mp3")

# Especificar idioma (más rápido)
result = model.transcribe("audio.mp3", language="en")

# Soportados: en, es, fr, de, it, pt, ru, ja, ko, zh, y 89 más

Selección de tarea

# Transcripción (por defecto)
result = model.transcribe("audio.mp3", task="transcribe")

# Traducción al inglés
result = model.transcribe("spanish.mp3", task="translate")
# Entrada: audio en español → Salida: texto en inglés

Prompt inicial

# Mejorar precisión con contexto
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Este es un podcast técnico sobre aprendizaje automático e IA."
)

# Ayuda con:
# - Términos técnicos
# - Nombres propios
# - Vocabulario específico del dominio

Marcas de tiempo

# Marcas de tiempo a nivel de palabra
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Fallback de temperatura

# Reintentar con diferentes temperaturas si la confianza es baja
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Uso en línea de comandos

# Transcripción básica
whisper audio.mp3

# Especificar modelo
whisper audio.mp3 --model turbo

# Formatos de salida
whisper audio.mp3 --output_format txt     # Texto plano
whisper audio.mp3 --output_format srt     # Subtítulos
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON con marcas de tiempo

# Idioma
whisper audio.mp3 --language Spanish

# Traducción
whisper spanish.mp3 --task translate

Procesamiento por lotes

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Transcribiendo {audio_file}...")
    result = model.transcribe(audio_file)

    # Guardar en archivo
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Transcripción en tiempo real

# Para audio en streaming, use faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Transcribir con streaming
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

Aceleración por GPU

import whisper

# Usa GPU automáticamente si está disponible
model = whisper.load_model("turbo")

# Forzar CPU
model = whisper.load_model("turbo", device="cpu")

# Forzar GPU
model = whisper.load_model("turbo", device="cuda")

# 10-20× más rápido en GPU

Integración con otras herramientas

Generación de subtítulos

# Generar subtítulos SRT
whisper video.mp4 --output_format srt --language English

# Salida: video.srt

Con LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Usar transcripción en RAG
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Extraer audio de video

# Usar ffmpeg para extraer audio
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Luego transcribir
whisper audio.wav

Mejores prácticas

  1. Use modelo turbo - Mejor velocidad/calidad para inglés
  2. Especifique idioma - Más rápido que detección automática
  3. Agregue prompt inicial - Mejora términos técnicos
  4. Use GPU - 10-20× más rápido
  5. Procese por lotes - Más eficiente
  6. Convierta a WAV - Mejor compatibilidad
  7. Divida audio largo - Fragmentos de <30 min
  8. Verifique soporte de idioma - La calidad varía según el idioma
  9. Use faster-whisper - 4× más rápido que openai-whisper
  10. Monitoree VRAM - Ajuste el tamaño del modelo al hardware

Rendimiento

ModeloFactor de tiempo real (CPU)Factor de tiempo real (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Factor de tiempo real: 0.1 = 10× más rápido que el tiempo real

Soporte de idiomas

Idiomas principales:

  • Inglés (en)
  • Español (es)
  • Francés (fr)
  • Alemán (de)
  • Italiano (it)
  • Portugués (pt)
  • Ruso (ru)
  • Japonés (ja)
  • Coreano (ko)
  • Chino (zh)

Lista completa: 99 idiomas en total

Limitaciones

  1. Alucinaciones - Puede repetir o inventar texto
  2. Precisión en formato largo - Degrada en audio >30 min
  3. Identificación de hablantes - Sin diarización
  4. Acentos - La calidad varía
  5. Ruido de fondo - Puede afectar la precisión
  6. Latencia en tiempo real - No apto para subtitulado en vivo

Recursos

Skills relacionados