Communitygithub.com

Whisper - Reconhecimento de Fala Robusto

Modelo de reconhecimento de fala multilingue da OpenAI. Suporta 99 idiomas, transcrição, tradução para inglês e identificação de idioma. Seis tamanhos de modelo, do tiny (39M parâmetros) ao large (1550M parâmetros). Ideal para ASR robusto e multilingue.

O que é Whisper - Reconhecimento de Fala Robusto?

Whisper é um modelo de reconhecimento de fala de uso geral da OpenAI, treinado em 680.000 horas de áudio multilingue e multilíngue. Ele suporta 99 idiomas para transcrição direta e também pode traduzir áudio para inglês automaticamente. O modelo está disponível em seis tamanhos (tiny, base, small, medium, large e turbo), variando de 39 milhões a 1,55 bilhão de parâmetros, sendo o 'turbo' o mais rápido e recomendado para uso geral. Pode ser executado localmente via Python (pip install openai-whisper) ou pela linha de comando, com suporte a saídas em TXT, SRT, VTT e JSON. Embora seja excelente para tarefas genéricas de ASR, possui limitações como alucinações, degradação em áudios longos (>30 min) e ausência de diarização de falantes. Para cenários com necessidade de baixa latência em tempo real, recomenda-se usar a variante faster-whisper, que é até 4x mais rápida. Ferramentas alternativas incluem AssemblyAI, Deepgram e Google Speech-to-Text, mas o Whisper se destaca pela versatilidade, transparência do código aberto e licença MIT.

Funciona com~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/math-inc/OpenGauss/tree/HEAD/skills/mlops/models/whisper

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que Whisper - Reconhecimento de Fala Robusto faz?

Modelo de reconhecimento de fala multilingue da OpenAI.

Quando usar o Whisper

Use quando:

  • Transcrição de fala para texto (99 idiomas)
  • Transcrição de podcasts/vídeos
  • Automação de anotações de reuniões
  • Tradução para inglês
  • Transcrição de áudio com ruído
  • Processamento de áudio multilingue

Métricas:

  • Mais de 72.900 estrelas no GitHub
  • 99 idiomas suportados
  • Treinado com 680.000 horas de áudio
  • Licença MIT

Use alternativas em vez disso:

  • AssemblyAI: API gerenciada, diarização de falantes
  • Deepgram: ASR em tempo real com streaming
  • Google Speech-to-Text: Baseado em nuvem

Início rápido

Instalação

# Requer Python 3.8-3.11
pip install -U openai-whisper

# Requer ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Transcrição básica

import whisper

# Carregar modelo
model = whisper.load_model("base")

# Transcrever
result = model.transcribe("audio.mp3")

# Imprimir texto
print(result["text"])

# Acessar segmentos
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Tamanhos de modelo

# Modelos disponíveis
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Carregar modelo específico
model = whisper.load_model("turbo")  # Mais rápido, boa qualidade
ModeloParâmetrosSomente inglêsMultilingueVelocidadeVRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

Recomendação: Use turbo para melhor velocidade/qualidade, base para prototipação

Opções de transcrição

Especificação de idioma

# Detectar idioma automaticamente
result = model.transcribe("audio.mp3")

# Especificar idioma (mais rápido)
result = model.transcribe("audio.mp3", language="en")

# Suportados: en, es, fr, de, it, pt, ru, ja, ko, zh e mais 89

Seleção de tarefa

# Transcrição (padrão)
result = model.transcribe("audio.mp3", task="transcribe")

# Tradução para inglês
result = model.transcribe("spanish.mp3", task="translate")
# Entrada: áudio em espanhol → Saída: texto em inglês

Prompt inicial

# Melhorar precisão com contexto
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Este é um podcast técnico sobre aprendizado de máquina e IA."
)

# Ajuda com:
# - Termos técnicos
# - Nomes próprios
# - Vocabulário específico de domínio

Carimbos de tempo

# Carimbos de tempo no nível da palavra
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Fallback de temperatura

# Tentar novamente com diferentes temperaturas se a confiança for baixa
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Uso via linha de comando

# Transcrição básica
whisper audio.mp3

# Especificar modelo
whisper audio.mp3 --model turbo

# Formatos de saída
whisper audio.mp3 --output_format txt     # Texto simples
whisper audio.mp3 --output_format srt     # Legendas
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON com carimbos de tempo

# Idioma
whisper audio.mp3 --language Spanish

# Tradução
whisper spanish.mp3 --task translate

Processamento em lote

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Transcrevendo {audio_file}...")
    result = model.transcribe(audio_file)

    # Salvar em arquivo
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Transcrição em tempo real

# Para áudio em streaming, use faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Transcrever com streaming
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

Aceleração por GPU

import whisper

# Usa GPU automaticamente se disponível
model = whisper.load_model("turbo")

# Forçar CPU
model = whisper.load_model("turbo", device="cpu")

# Forçar GPU
model = whisper.load_model("turbo", device="cuda")

# 10–20× mais rápido na GPU

Integração com outras ferramentas

Geração de legendas

# Gerar legendas SRT
whisper video.mp4 --output_format srt --language English

# Saída: video.srt

Com LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Usar transcrição em RAG
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Extrair áudio de vídeo

# Usar ffmpeg para extrair áudio
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Depois transcrever
whisper audio.wav

Melhores práticas

  1. Use o modelo turbo - Melhor velocidade/qualidade para inglês
  2. Especifique o idioma - Mais rápido do que detecção automática
  3. Adicione um prompt inicial - Melhora termos técnicos
  4. Use GPU - 10–20× mais rápido
  5. Processe em lote - Mais eficiente
  6. Converta para WAV - Melhor compatibilidade
  7. Divida áudio longo - Pedaços menores que 30 min
  8. Verifique o suporte a idiomas - A qualidade varia por idioma
  9. Use faster-whisper - 4× mais rápido que openai-whisper
  10. Monitore a VRAM - Ajuste o tamanho do modelo ao hardware

Desempenho

ModeloFator de tempo real (CPU)Fator de tempo real (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Fator de tempo real: 0.1 = 10× mais rápido que o tempo real

Suporte a idiomas

Principais idiomas suportados:

  • Inglês (en)
  • Espanhol (es)
  • Francês (fr)
  • Alemão (de)
  • Italiano (it)
  • Português (pt)
  • Russo (ru)
  • Japonês (ja)
  • Coreano (ko)
  • Chinês (zh)

Lista completa: 99 idiomas no total

Limitações

  1. Alucinações - Pode repetir ou inventar texto
  2. Precisão em áudio longo - Degrada em áudios com mais de 30 min
  3. Identificação de falantes - Sem diarização
  4. Sotaques - A qualidade varia
  5. Ruído de fundo - Pode afetar a precisão
  6. Latência em tempo real - Não adequado para legendagem ao vivo

Recursos

Habilidades Relacionadas