Communitygithub.com

graniet/kheish

Modelo de reconhecimento de fala multilíngue da OpenAI. Suporta 99 idiomas, transcrição, tradução para inglês e identificação de idioma. Seis tamanhos de modelo, de tiny (39M parâmetros) a large (1550M parâmetros). Ideal para conversão de fala em texto, transcrição de podcasts ou processamento de áudio multilíngue.

O que é kheish?

A habilidade 'graniet/kheish' integra o modelo Whisper da OpenAI, um sistema de reconhecimento de fala multilíngue robusto e de alto desempenho. Ela permite transcrição de áudio em 99 idiomas, tradução direta para o inglês e identificação automática de idioma, sendo ideal para tarefas como transcrição de podcasts, reuniões, vídeos e processamento de áudio multilíngue. Suporta seis tamanhos de modelo (tiny, base, small, medium, large e turbo), desde o leve 'tiny' (39M parâmetros) até o 'large' (1550M parâmetros), oferecendo flexibilidade entre velocidade e precisão. A habilidade pode ser executada em CPU ou GPU, com aceleração significativa em GPU (10-20x mais rápido). É compatível com diversas ferramentas, incluindo LangChain para pipelines de RAG, geração de legendas (SRT, VTT) e processamento em lote. A implementação local é feita através do pacote Python `openai-whisper`, com mapeamentos específicos para comandos de terminal e ferramentas de busca neste repositório. A habilidade é ativada manualmente e usa o diretório `KHEISH_SKILL_DIR` para localizar arquivos auxiliares. Recomenda-se o uso do modelo 'turbo' para o melhor equilíbrio entre velocidade e qualidade, e 'faster-whisper' para streaming de áudio.

Funciona com~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/graniet/kheish/tree/HEAD/skills/mlops/models/whisper

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Compatibilidade com Kheish

Esta skill é local ao repositório e permanece inativa até ser explicitamente ativada.

Quando as instruções originais se referirem a nomes de ferramentas legados, use estes mapeamentos do Kheish:

  • terminal => bash
  • web_extract => web_fetch, além de web_search quando descoberta for necessária
  • search_files => grep_search e glob_search
  • Ferramentas browser_* exigem uma ferramenta ou MCP com capacidade de navegador; se não houver, use a superfície disponível mais próxima e declare isso explicitamente

Quando as instruções mencionarem arquivos auxiliares locais, resolva-os a partir de ${KHEISH_SKILL_DIR}.

Whisper - Reconhecimento de Fala Robusto

Modelo de reconhecimento de fala multilíngue da OpenAI.

Quando usar o Whisper

Use quando:

  • Transcrição de fala para texto (99 idiomas)
  • Transcrição de podcasts/vídeos
  • Automação de anotações de reuniões
  • Tradução para inglês
  • Transcrição de áudio com ruído
  • Processamento de áudio multilíngue

Métricas:

  • 72.900+ estrelas no GitHub
  • 99 idiomas suportados
  • Treinado em 680.000 horas de áudio
  • Licença MIT

Use alternativas em vez disso:

  • AssemblyAI: API gerenciada, diarização de falantes
  • Deepgram: ASR de streaming em tempo real
  • Google Speech-to-Text: Baseado em nuvem

Início rápido

Instalação

# Requer Python 3.8-3.11
pip install -U openai-whisper

# Requer ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Transcrição básica

import whisper

# Carregar modelo
model = whisper.load_model("base")

# Transcrever
result = model.transcribe("audio.mp3")

# Imprimir texto
print(result["text"])

# Acessar segmentos
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Tamanhos de modelo

# Modelos disponíveis
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Carregar modelo específico
model = whisper.load_model("turbo")  # Mais rápido, boa qualidade
ModeloParâmetrosSomente inglêsMultilíngueVelocidadeVRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

Recomendação: Use turbo para melhor velocidade/qualidade, base para prototipagem

Opções de transcrição

Especificação de idioma

# Detectar idioma automaticamente
result = model.transcribe("audio.mp3")

# Especificar idioma (mais rápido)
result = model.transcribe("audio.mp3", language="en")

# Suportados: en, es, fr, de, it, pt, ru, ja, ko, zh e mais 89

Seleção de tarefa

# Transcrição (padrão)
result = model.transcribe("audio.mp3", task="transcribe")

# Tradução para inglês
result = model.transcribe("spanish.mp3", task="translate")
# Entrada: áudio em espanhol → Saída: texto em inglês

Prompt inicial

# Melhorar precisão com contexto
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Este é um podcast técnico sobre aprendizado de máquina e IA."
)

# Ajuda com:
# - Termos técnicos
# - Nomes próprios
# - Vocabulário de domínio específico

Carimbos de tempo

# Carimbos de tempo em nível de palavra
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Fallback de temperatura

# Tentar novamente com diferentes temperaturas se a confiança for baixa
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Uso em linha de comando

# Transcrição básica
whisper audio.mp3

# Especificar modelo
whisper audio.mp3 --model turbo

# Formatos de saída
whisper audio.mp3 --output_format txt     # Texto simples
whisper audio.mp3 --output_format srt     # Legendas
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON com carimbos de tempo

# Idioma
whisper audio.mp3 --language Spanish

# Tradução
whisper spanish.mp3 --task translate

Processamento em lote

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Transcrevendo {audio_file}...")
    result = model.transcribe(audio_file)

    # Salvar em arquivo
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Transcrição em tempo real

# Para áudio em streaming, use faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Transcrever com streaming
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

Aceleração por GPU

import whisper

# Usa GPU automaticamente se disponível
model = whisper.load_model("turbo")

# Forçar CPU
model = whisper.load_model("turbo", device="cpu")

# Forçar GPU
model = whisper.load_model("turbo", device="cuda")

# 10-20× mais rápido na GPU

Integração com outras ferramentas

Geração de legendas

# Gerar legendas SRT
whisper video.mp4 --output_format srt --language English

# Saída: video.srt

Com LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Usar transcrição em RAG
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Extrair áudio de vídeo

# Use ffmpeg para extrair áudio
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Depois transcreva
whisper audio.wav

Melhores práticas

  1. Use o modelo turbo - Melhor velocidade/qualidade para inglês
  2. Especifique o idioma - Mais rápido que detecção automática
  3. Adicione prompt inicial - Melhora termos técnicos
  4. Use GPU - 10-20× mais rápido
  5. Processe em lote - Mais eficiente
  6. Converta para WAV - Melhor compatibilidade
  7. Divida áudio longo - Pedaços <30 min
  8. Verifique suporte de idioma - Qualidade varia por idioma
  9. Use faster-whisper - 4× mais rápido que openai-whisper
  10. Monitore a VRAM - Escalone o tamanho do modelo ao hardware

Desempenho

ModeloFator de tempo real (CPU)Fator de tempo real (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Fator de tempo real: 0.1 = 10× mais rápido que o tempo real

Suporte a idiomas

Idiomas mais suportados:

  • Inglês (en)
  • Espanhol (es)
  • Francês (fr)
  • Alemão (de)
  • Italiano (it)
  • Português (pt)
  • Russo (ru)
  • Japonês (ja)
  • Coreano (ko)
  • Chinês (zh)

Lista completa: 99 idiomas no total

Limitações

  1. Alucinações - Pode repetir ou inventar texto
  2. Precisão em formas longas - Degrada em áudio >30 min
  3. Identificação de falantes - Sem diarização
  4. Sotaques - Qualidade varia
  5. Ruído de fundo - Pode afetar a precisão
  6. Latência em tempo real - Não adequado para legendagem ao vivo

Recursos

Habilidades Relacionadas