Faster Whisper
Conversão local de fala para texto usando faster-whisper — uma reimplementação em CTranslate2 do Whisper da OpenAI que é 4 a 6 vezes mais rápida com precisão idêntica. Com aceleração de GPU, espere ~20x em tempo real de transcrição (um arquivo de áudio de 10 minutos em ~30 segundos).
Quando Usar
Use este skill quando precisar de:
- Transcrever arquivos de áudio/vídeo — reuniões, entrevistas, podcasts, palestras, vídeos do YouTube
- Converter fala em texto localmente — sem custos de API, funciona offline (após download do modelo)
- Processar vários arquivos de áudio em lote — eficiente para grandes coleções
- Gerar legendas/legendas ocultas — carimbos de tempo no nível da palavra disponíveis
- Transcrição multilíngue — suporta mais de 99 idiomas com detecção automática
Frases de ativação: "transcreva este áudio", "converta fala em texto", "o que eles disseram", "faça uma transcrição", "áudio para texto", "legende este vídeo"
Quando NÃO usar:
- Transcrição em tempo real/streaming (use ferramentas otimizadas para streaming)
- Ambientes somente em nuvem sem computação local
- Arquivos com menos de 10 segundos onde a latência da chamada de API não importa
Referência Rápida
| Tarefa | Comando | Observações |
|---|---|---|
| Transcrição básica | ./scripts/transcribe audio.mp3 | Usa o distil-large-v3 padrão |
| Mais rápido em inglês | ./scripts/transcribe audio.mp3 --model distil-medium.en --language en | Somente inglês, 6,8x mais rápido |
| Máxima precisão | ./scripts/transcribe audio.mp3 --model large-v3-turbo --beam-size 10 | Mais lento, mas melhor qualidade |
| Carimbos de tempo nas palavras | ./scripts/transcribe audio.mp3 --word-timestamps | Para legendas/legendas ocultas |
| Saída JSON | ./scripts/transcribe audio.mp3 --json -o output.json | Acesso programático |
| Multilíngue | ./scripts/transcribe audio.mp3 --model large-v3-turbo | Detecta idioma automaticamente |
| Remover silêncio | ./scripts/transcribe audio.mp3 --vad | Detecção de atividade de voz |
Seleção de Modelo
Escolha o modelo certo para suas necessidades:
digraph model_selection {
rankdir=LR;
node [shape=box, style=rounded];
start [label="Início", shape=doublecircle];
need_accuracy [label="Precisa de máxima\nprecisão?", shape=diamond];
multilingual [label="Conteúdo\nmultilíngue?", shape=diamond];
resource_constrained [label="Recursos\nlimitados?", shape=diamond];
large_v3 [label="large-v3\nou\nlarge-v3-turbo", style="rounded,filled", fillcolor=lightblue];
large_turbo [label="large-v3-turbo", style="rounded,filled", fillcolor=lightblue];
distil_large [label="distil-large-v3\n(padrão)", style="rounded,filled", fillcolor=lightgreen];
distil_medium [label="distil-medium.en", style="rounded,filled", fillcolor=lightyellow];
distil_small [label="distil-small.en", style="rounded,filled", fillcolor=lightyellow];
start -> need_accuracy;
need_accuracy -> large_v3 [label="sim"];
need_accuracy -> multilingual [label="não"];
multilingual -> large_turbo [label="sim"];
multilingual -> resource_constrained [label="não (inglês)"];
resource_constrained -> distil_small [label="mobile/edge"];
resource_constrained -> distil_medium [label="alguns limites"];
resource_constrained -> distil_large [label="não"];
}
Tabela de Modelos
Modelos Padrão (Whisper Completo)
| Modelo | Tamanho | Velocidade | Precisão | Caso de Uso |
|---|---|---|---|---|
tiny / tiny.en | 39M | Mais rápido | Básica | Rascunhos rápidos |
base / base.en | 74M | Muito rápido | Boa | Uso geral |
small / small.en | 244M | Rápido | Melhor | A maioria das tarefas |
medium / medium.en | 769M | Moderado | Alta | Transcrição de qualidade |
large-v1/v2/v3 | 1,5 GB | Mais lento | Máxima | Precisão máxima |
large-v3-turbo | 809M | Rápido | Excelente | Recomendado para precisão |
Modelos Destilados (~6x mais rápidos, ~1% de diferença em WER)
| Modelo | Tamanho | Velocidade vs Padrão | Precisão | Caso de Uso |
|---|---|---|---|---|
distil-large-v3 | 756M | ~6,3x mais rápido | 9,7% WER | Padrão, melhor equilíbrio |
distil-large-v2 | 756M | ~5,8x mais rápido | 10,1% WER | Alternativa |
distil-medium.en | 394M | ~6,8x mais rápido | 11,1% WER | Somente inglês, recursos limitados |
distil-small.en | 166M | ~5,6x mais rápido | 12,1% WER | Dispositivos móveis/edge |
Modelos .en são somente inglês e ligeiramente mais rápidos/melhores para conteúdo em inglês.
Configuração
Linux / macOS / WSL2
# Execute o script de configuração (cria venv, instala dependências, detecta GPU automaticamente)
./setup.sh
Windows (Nativo)
# Execute do PowerShell (instala Python e ffmpeg automaticamente via winget se necessário)
.\setup.ps1
O script de configuração do Windows irá:
- Instalar automaticamente o Python 3.12 via winget se não encontrado
- Instalar automaticamente o ffmpeg via winget se não encontrado
- Detectar GPU NVIDIA e instalar PyTorch com suporte CUDA
- Criar venv e instalar todas as dependências
Requisitos:
- Linux/macOS/WSL2: Python 3.10+, ffmpeg
- Windows: Nada! A instalação instala pré-requisitos automaticamente via winget
Suporte a Plataforma
| Plataforma | Aceleração | Velocidade | Instalação Automática |
|---|---|---|---|
| Windows + GPU NVIDIA | CUDA | ~20x em tempo real 🚀 | ✅ Completa |
| Linux + GPU NVIDIA | CUDA | ~20x em tempo real 🚀 | Pré-requisitos manuais |
| WSL2 + GPU NVIDIA | CUDA | ~20x em tempo real 🚀 | Pré-requisitos manuais |
| macOS Apple Silicon | CPU* | ~3-5x em tempo real | Pré-requisitos manuais |
| macOS Intel | CPU | ~1-2x em tempo real | Pré-requisitos manuais |
| Windows (sem GPU) | CPU | ~1x em tempo real | ✅ Completa |
| Linux (sem GPU) | CPU | ~1x em tempo real | Pré-requisitos manuais |
*o faster-whisper usa CTranslate2 que é apenas CPU no macOS, mas o Apple Silicon é rápido o suficiente para uso prático.
Suporte a GPU (IMPORTANTE!)
O script de configuração detecta automaticamente sua GPU e instala o PyTorch com CUDA. Sempre use GPU se disponível — transcrição em CPU é extremamente lenta.
| Hardware | Velocidade | Vídeo de 9 min |
|---|---|---|
| RTX 3070 (GPU) | ~20x em tempo real | ~27 seg |
| CPU (int8) | ~0,3x em tempo real | ~30 min |
Se a configuração não detectou sua GPU, instale manualmente o PyTorch com CUDA:
Linux/macOS/WSL2:
# Para CUDA 12.x
uv pip install --python .venv/bin/python torch --index-url https://download.pytorch.org/whl/cu121
# Para CUDA 11.x
uv pip install --python .venv/bin/python torch --index-url https://download.pytorch.org/whl/cu118
Windows:
# Para CUDA 12.x
.venv\Scripts\pip install torch --index-url https://download.pytorch.org/whl/cu121
# Para CUDA 11.x
.venv\Scripts\pip install torch --index-url https://download.pytorch.org/whl/cu118
- Usuários Windows: Certifique-se de ter os drivers NVIDIA instalados
- Usuários WSL2: Certifique-se de ter os drivers NVIDIA CUDA para WSL instalados no Windows
Uso
Linux/macOS/WSL2:
# Transcrição básica
./scripts/transcribe audio.mp3
# Com modelo específico
./scripts/transcribe audio.wav --model large-v3-turbo
# Com carimbos de tempo nas palavras
./scripts/transcribe audio.mp3 --word-timestamps
# Especificar idioma (mais rápido que detecção automática)
./scripts/transcribe audio.mp3 --language en
# Saída JSON
./scripts/transcribe audio.mp3 --json
Windows (cmd ou PowerShell):
# Transcrição básica
.\scripts\transcribe.cmd audio.mp3
# Com modelo específico
.\scripts\transcribe.cmd audio.wav --model large-v3-turbo
# Com carimbos de tempo nas palavras (sintaxe nativa do PowerShell também funciona)
.\scripts\transcribe.ps1 audio.mp3 -WordTimestamps
# Saída JSON
.\scripts\transcribe.cmd audio.mp3 --json
Opções
--model, -m Nome do modelo (padrão: distil-large-v3)
--language, -l Código do idioma (ex.: en, es, fr - detecção automática se omitido)
--word-timestamps Incluir carimbos de tempo no nível da palavra
--beam-size Tamanho da busca em feixe (padrão: 5, maior = mais preciso, porém mais lento)
--vad Ativar detecção de atividade de voz (remove silêncio)
--json, -j Saída como JSON
--output, -o Salvar transcrição em arquivo
--device cpu ou cuda (detectado automaticamente)
--compute-type int8, float16, float32 (padrão: auto-otimizado)
--quiet, -q Suprimir mensagens de progresso
Exemplos
# Transcrever áudio do YouTube (após extração com yt-dlp)
yt-dlp -x --audio-format mp3 <URL> -o audio.mp3
./scripts/transcribe audio.mp3
# Transcrição em lote com saída JSON
for file in *.mp3; do
./scripts/transcribe "$file" --json > "${file%.mp3}.json"
done
# Transcrição de alta precisão com tamanho de feixe maior
./scripts/transcribe audio.mp3 \
--model large-v3-turbo --beam-size 10 --word-timestamps
# Transcrição rápida somente em inglês
./scripts/transcribe audio.mp3 \
--model distil-medium.en --language en
# Transcrever com VAD (remove silêncio)
./scripts/transcribe audio.mp3 --vad
Erros Comuns
| Erro | Problema | Solução |
|---|---|---|
| Usando CPU quando GPU disponível | Transcrição 10-20x mais lenta | Verifique nvidia-smi no Windows/Linux; verifique instalação CUDA |
| Não especificar o idioma | Perde tempo com detecção automática em conteúdo conhecido | Use --language en quando souber o idioma |
| Usar modelo errado | Lentidão desnecessária ou baixa precisão | O padrão distil-large-v3 é excelente; use large-v3 apenas se houver problemas de precisão |
| Ignorar modelos destilados | Perder ganho de 6x com perda de precisão <1% | Experimente distil-large-v3 antes de usar modelos padrão |
| Esquecer o ffmpeg | Instalação falha ou áudio não pode ser processado | O script de instalação cuida disso; instalações manuais precisam de ffmpeg separadamente |
| Erro de memória insuficiente | Modelo grande demais para VRAM/RAM disponível | Use modelo menor ou --compute-type int8 |
| Beam size superdimensionado | Retornos decrescentes além de beam-size 5-7 | O padrão 5 é suficiente; tente 10 para transcrições críticas |
Notas de Desempenho
- Primeira execução: Baixa o modelo para
~/.cache/huggingface/(uma vez) - GPU: Usa CUDA automaticamente se disponível (~10-20x mais rápido)
- Quantização: INT8 usado em CPU para ~4x de ganho de velocidade com perda mínima de precisão
- Memória:
distil-large-v3: ~2GB RAM / ~1GB VRAMlarge-v3-turbo: ~4GB RAM / ~2GB VRAMtiny/base: <1GB RAM
Por que faster-whisper?
- Velocidade: ~4-6x mais rápido que o Whisper original da OpenAI
- Precisão: Idêntica (usa os mesmos pesos do modelo)
- Eficiência: Menor uso de memória via quantização
- Pronto para produção: Backend C++ estável (CTranslate2)
- Modelos destilados: ~6x mais rápidos com perda de precisão <1%
Solução de Problemas
"CUDA não está disponível — usando CPU": Instale PyTorch com CUDA (veja Suporte a GPU acima)
Falha na instalação: Certifique-se de que Python 3.10+ está instalado
Memória insuficiente: Use modelo menor ou --compute-type int8
Lento na CPU: Esperado — use GPU para transcrição prática
Falha no download do modelo: Verifique as permissões de ~/.cache/huggingface/ (Linux/macOS) ou %USERPROFILE%\.cache\huggingface\ (Windows)
Específico para Windows
"winget não encontrado": Instale o App Installer pela Microsoft Store, ou instale Python/ffmpeg manualmente
"Python não está no PATH após instalação": Feche e reabra o terminal e execute setup.ps1 novamente
Erro de política de execução do PowerShell: Execute Set-ExecutionPolicy -Scope CurrentUser -ExecutionPolicy RemoteSigned ou use transcribe.cmd
nvidia-smi não encontrado mas tem GPU: Instale os drivers NVIDIA — os drivers Game Ready ou Studio incluem o nvidia-smi