Communitygithub.com

Transcrição com Whisper (MadAppGang/claude-code)

Transcrição de áudio/vídeo usando OpenAI Whisper. Abrange instalação, seleção de modelos, formatos de transcrição (SRT, VTT, JSON), sincronização de tempo e diarização de falantes. Use ao transcrever mídia ou gerar legendas.

O que é claude-code)?

Esta habilidade fornece padrões prontos para produção para transcrição de áudio e vídeo usando o OpenAI Whisper, suportando múltiplas plataformas e opções de instalação (Python, whisper.cpp, Insanely Fast Whisper). Ela orienta o usuário na escolha do modelo ideal (tiny, base, small, medium, large-v3) com base no equilíbrio entre precisão e velocidade, e cobre a extração de áudio via ffmpeg para preparar arquivos de mídia. Os formatos de saída incluem SRT, VTT e JSON com temporização em nível de palavra, além de sincronização de quadros para editores de vídeo como Final Cut Pro. A habilidade também oferece funcionalidades avançadas como diarização de falantes com pyannote.audio, processamento em lote, otimização de qualidade (redução de ruído, prompts iniciais) e tratamento de erros, tornando-se uma ferramenta abrangente para criadores de conteúdo e editores de vídeo que precisam gerar legendas ou transcrições precisas de forma eficiente.

Funciona com✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/MadAppGang/claude-code/tree/HEAD/plugins/video-editing/skills/transcription

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Transcrição com Whisper

Padrões prontos para produção para transcrição de áudio/vídeo usando OpenAI Whisper.

Requisitos do Sistema

Opções de Instalação

Opção 1: OpenAI Whisper (Python)

# macOS/Linux/Windows
pip install openai-whisper

# Verificar
whisper --help

Opção 2: whisper.cpp (C++ - mais rápido)

# macOS
brew install whisper-cpp

# Linux - compilar a partir do código fonte
git clone https://github.com/ggerganov/whisper.cpp
cd whisper.cpp && make

# Windows - usar binários pré-compilados ou compilar com cmake

Opção 3: Insanely Fast Whisper (acelerado por GPU)

pip install insanely-fast-whisper

Seleção de Modelo

ModeloTamanhoVRAMPrecisãoVelocidadeCaso de Uso
tiny39M~1GBBaixaMais rápidaVisualizações rápidas
base74M~1GBMédiaRápidaRascunhos de transcrição
small244M~2GBBoaMédiaUso geral
medium769M~5GBMelhorLentaTranscrições de qualidade
large-v31550M~10GBMáximaMais lentaProdução final

Recomendação: Comece com small para equilíbrio entre velocidade e qualidade. Use large-v3 para entrega final.

Transcrição Básica

Usando OpenAI Whisper

# Transcrição básica (detecção automática de idioma)
whisper audio.mp3 --model small

# Especificar idioma e formato de saída
whisper audio.mp3 --model medium --language en --output_format srt

# Múltiplos formatos de saída
whisper audio.mp3 --model small --output_format all

# Com timestamps e temporização em nível de palavra
whisper audio.mp3 --model small --word_timestamps True

Usando whisper.cpp

# Baixar o modelo primeiro
./models/download-ggml-model.sh base.en

# Transcrever
./main -m models/ggml-base.en.bin -f audio.wav -osrt

# Com timestamps
./main -m models/ggml-base.en.bin -f audio.wav -ocsv

Formatos de Saída

SRT (Legenda SubRip)

1
00:00:01,000 --> 00:00:04,500
Olá e bem-vindo a este vídeo.

2
00:00:05,000 --> 00:00:08,200
Hoje discutiremos edição de vídeo.

VTT (WebVTT)

WEBVTT

00:00:01.000 --> 00:00:04.500
Olá e bem-vindo a este vídeo.

00:00:05.000 --> 00:00:08.200
Hoje discutiremos edição de vídeo.

JSON (com temporização em nível de palavra)

{
  "text": "Olá e bem-vindo a este vídeo.",
  "segments": [
    {
      "id": 0,
      "start": 1.0,
      "end": 4.5,
      "text": " Olá e bem-vindo a este vídeo.",
      "words": [
        {"word": "Olá", "start": 1.0, "end": 1.3},
        {"word": "e", "start": 1.4, "end": 1.5},
        {"word": "bem-vindo", "start": 1.6, "end": 2.0},
        {"word": "a", "start": 2.1, "end": 2.2},
        {"word": "este", "start": 2.3, "end": 2.5},
        {"word": "vídeo", "start": 2.6, "end": 3.0}
      ]
    }
  ]
}

Extração de Áudio para Transcrição

Antes de transcrever vídeo, extraia o áudio em formato ideal:

# Extrair áudio como WAV (16kHz, mono - ideal para Whisper)
ffmpeg -i video.mp4 -ar 16000 -ac 1 -c:a pcm_s16le audio.wav

# Extrair como WAV de alta qualidade para arquivamento
ffmpeg -i video.mp4 -vn -c:a pcm_s16le audio.wav

# Extrair como MP3 compactado (menor, ainda funciona)
ffmpeg -i video.mp4 -vn -c:a libmp3lame -q:a 2 audio.mp3

Sincronização de Tempo

Converter JSON do Whisper para Temporização do FCP

import json

def whisper_to_fcp_timing(whisper_json_path, fps=24):
    """Converte a saída JSON do Whisper para temporização compatível com FCP."""
    with open(whisper_json_path) as f:
        data = json.load(f)

    segments = []
    for seg in data.get("segments", []):
        segments.append({
            "start_time": seg["start"],
            "end_time": seg["end"],
            "start_frame": int(seg["start"] * fps),
            "end_frame": int(seg["end"] * fps),
            "text": seg["text"].strip(),
            "words": seg.get("words", [])
        })

    return segments

Temporização Precisão de Quadro

# Obter contagem exata de quadros e duração
ffprobe -v error -count_frames -select_streams v:0 \
  -show_entries stream=nb_read_frames,duration,r_frame_rate \
  -of json video.mp4

Diarização de Falantes

Para conteúdo com múltiplos falantes, use pyannote.audio:

pip install pyannote.audio
from pyannote.audio import Pipeline

pipeline = Pipeline.from_pretrained("pyannote/[email protected]")
diarization = pipeline("audio.wav")

for turn, _, speaker in diarization.itertracks(yield_label=True):
    print(f"{turn.start:.1f}s - {turn.end:.1f}s: {speaker}")

Processamento em Lote

#!/bin/bash
# Transcrever todos os vídeos no diretório

MODEL="small"
OUTPUT_DIR="transcripts"
mkdir -p "$OUTPUT_DIR"

for video in *.mp4 *.mov *.avi; do
  [[ -f "$video" ]] || continue

  base="${video%.*}"

  # Extrair áudio
  ffmpeg -i "$video" -ar 16000 -ac 1 -c:a pcm_s16le "/tmp/${base}.wav" -y

  # Transcrever
  whisper "/tmp/${base}.wav" --model "$MODEL" \
    --output_format all \
    --output_dir "$OUTPUT_DIR"

  # Limpar áudio temporário
  rm "/tmp/${base}.wav"

  echo "Transcrito: $video"
done

Otimização de Qualidade

Melhorar Precisão

  1. Redução de ruído antes da transcrição:
ffmpeg -i noisy_audio.wav -af "highpass=f=200,lowpass=f=3000,afftdn=nf=-25" clean_audio.wav
  1. Usar dica de idioma:
whisper audio.mp3 --language en --model medium
  1. Fornecer prompt inicial para contexto:
whisper audio.mp3 --initial_prompt "Discussão técnica sobre software de edição de vídeo."

Dicas de Performance

  1. Aceleração por GPU (se disponível):
whisper audio.mp3 --model large-v3 --device cuda
  1. Processar em partes para vídeos longos:
# Dividir áudio em partes de 10 minutos
# Transcrever cada parte
# Mesclar resultados com ajuste de deslocamento de tempo

Tratamento de Erros

# Validar arquivo de áudio antes da transcrição
validate_audio() {
  local file="$1"
  if ffprobe -v error -select_streams a:0 -show_entries stream=codec_type -of csv=p=0 "$file" 2>/dev/null | grep -q "audio"; then
    return 0
  else
    echo "Erro: Nenhum fluxo de áudio encontrado em $file"
    return 1
  fi
}

# Verificar instalação do Whisper
check_whisper() {
  if command -v whisper &> /dev/null; then
    echo "Whisper disponível"
    return 0
  else
    echo "Erro: Whisper não instalado. Execute: pip install openai-whisper"
    return 1
  fi
}

Habilidades Relacionadas

  • ffmpeg-core - Extração e pré-processamento de áudio
  • final-cut-pro - Importar transcrições como títulos/marcadores

Habilidades Relacionadas