Skill de Edição de Podcast
Processe gravações brutas de podcasts/reuniões em episódios de podcast polidos.
Capacidades
- Corte inteligente — Encontre onde o podcast realmente começa e termina, transcrevendo e detectando introduções/conclusões
- Remoção de palavras de preenchimento — Remova tiques verbais: 嗯, 呃, 啊, 哦, 对对对, hum, uh, etc.
- Corte de silêncios — Corte pausas longas (>2s) para pausas naturais (~0,6s)
- Aprimoramento de áudio — Redução de ruído, equalização, balanceamento de volume entre múltiplos falantes, normalização de loudness para o padrão de podcast (−16 LUFS)
- Re-corte de um episódio finalizado — Remova cirurgicamente seções sinalizadas de um episódio já renderizado sem reexecutar todo o pipeline
- Clipes de destaque e resumo — Corte trechos compartilháveis e monte um resumo de ~1 minuto com música
- Corte de vídeo — Aplique a mesma edição a uma gravação de vídeo Zoom/Riverside (veja "Episódios em vídeo")
Pré-requisitos
ffmpegeffprobeinstaladosOPENAI_API_KEYno ambiente (para transcrição pela API Whisper)- Python 3 com apenas stdlib (sem dependências extras para o script auxiliar)
- Opcional:
resemblyzer(pip install resemblyzer) — apenas para diarização de falantes ao construir resumos de destaque
Fluxo de trabalho
Passo 1: Inspecione o arquivo de áudio
ffprobe -v quiet -print_format json -show_format -show_streams "ARQUIVO_ENTRADA"
Anote: duração, taxa de amostragem, canais, codec, bitrate.
Passo 2: Encontre o início/fim do podcast (se o usuário disser para cortar início/fim)
Divida em pedaços de 5 minutos e transcreva via API Whisper da OpenAI com timestamps em nível de segmento:
# Extrair pedaço
ffmpeg -y -i "ARQUIVO_ENTRADA" -ss OFFSET -t 300 -ar 16000 -ac 1 /tmp/chunk_OFFSET.mp3
# Transcrever
curl -s https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F file="@/tmp/chunk_OFFSET.mp3" \
-F model="whisper-1" \
-F response_format="verbose_json" \
-F language="IDIOMA" \
-F 'timestamp_granularities[]=segment' > /tmp/transcript_OFFSET.json
Varra as transcrições em busca de:
- Marcadores de início: "bem-vindo", "olá a todos", "olá", "começando", música de introdução, primeira frase de tópico substantiva
- Marcadores de fim: "até a próxima", "tchau", "obrigado por ouvir", seguido de conversa pós-show
Faça um corte inicial com -ss INICIO -to FIM e -c copy (sem recodificação) para criar um arquivo de trabalho.
Passo 3: Remova palavras de preenchimento
Divida o arquivo cortado em pedaços de 5 minutos e transcreva cada um com timestamps em nível de palavra:
# Extrair pedaços
for i in $(seq 0 300 DURACAO); do
ffmpeg -y -i "ARQUIVO_CORTADO" -ss $i -t 300 -ar 16000 -ac 1 /tmp/wchunk_${i}.mp3
done
# Transcrever cada pedaço (pode ser executado em paralelo)
for i in $(seq 0 300 DURACAO); do
curl -s https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F file="@/tmp/wchunk_${i}.mp3" \
-F model="whisper-1" \
-F response_format="verbose_json" \
-F language="IDIOMA" \
-F 'timestamp_granularities[]=word' \
-F 'timestamp_granularities[]=segment' > /tmp/wtranscript_${i}.json &
done
wait
Em seguida, execute o script de remoção de preenchimentos que acompanha esta skill:
python3 ./filler_removal.py \
--total-duration DURACAO \
--end-at TIMESTAMP_FIM \
--cut INICIO1:FIM1 --cut INICIO2:FIM2 \
--chunk-offsets 0,300,600,900,...
Argumentos:
--total-duration: Duração do arquivo de entrada cortado em segundos (obrigatório)--end-at: Corte tudo após este timestamp (ex.: início da conversa pós-show)--cut INICIO:FIM: Corte um intervalo específico. Pode ser repetido.--chunk-offsets: Offsets dos pedaços separados por vírgula (padrão: auto 0,300,600,...)
O script gera /tmp/ffmpeg_filter.txt com um filtro atrim+concat.
Aplique o filtro em duas passadas:
# Passo A: Corte preenchimentos → WAV intermediário (evita artefatos de recodificação)
ffmpeg -y -i "ARQUIVO_CORTADO" \
-filter_complex_script /tmp/ffmpeg_filter.txt \
-map '[out]' -c:a pcm_s16le -ar 44100 /tmp/podcast_cut.wav
# Passo B: Aprimore áudio → MP3 final
ffmpeg -y -i /tmp/podcast_cut.wav \
-af "CADEIA_APRIMORAMENTO" \
-c:a libmp3lame -b:a 192k "ARQUIVO_SAIDA"
Limitações: Timestamps em nível de palavra do Whisper para chinês podem perder preenchimentos que estão mesclados à fala adjacente. O script captura preenchimentos isolados de forma confiável, mas pode perder ~10–20% dos incorporados.
Passo 4: Cadeia de filtros de aprimoramento de áudio
Cadeia padrão (amigável ao convidado — lida com desequilíbrio de volume entre múltiplos falantes). O maior erro em execuções passadas é usar um gate de ruído (agate) que silencia completamente o convidado mais quieto. Nunca adicione agate de volta à cadeia padrão.
highpass=f=80, # Remove ruído ambiente
lowpass=f=12000, # Remove chiado (use 7500 para fontes de 16 kHz)
afftdn=nf=-25:nr=8:nt=w, # Redução de ruído FFT suave
equalizer=f=180:t=q:w=1.5:g=-2, # Corta "lama"
equalizer=f=2500:t=q:w=1.2:g=3, # Aumenta presença
equalizer=f=4500:t=q:w=1.5:g=1.5, # Aumenta clareza
dynaudnorm=f=200:g=5:p=0.95:m=5:s=0, # Normalização com janela deslizante — aumenta o falante mais quieto independentemente
acompressor=threshold=-20dB:ratio=2:attack=5:release=200:makeup=1, # Compressão suave
loudnorm=I=-16:TP=-1.5:LRA=13 # Loudness padrão de podcast
Por que dynaudnorm é a estrela: ele normaliza em janelas deslizantes de 200 ms, então quando o convidado está falando, aquela janela é aumentada independentemente das janelas mais altas do apresentador. A ordem importa — execute dynaudnorm ANTES de acompressor para que o compressor veja um sinal balanceado.
Nunca adicione estes à cadeia padrão:
agate(gate de ruído) — corta qualquer falante mais quieto que o limite; mata o convidado.- Compressão pesada (ratio >3:1, makeup >2 dB) — achata a dinâmica e faz o convidado soar artificial.
- LRA estreita (<12) no
loudnorm— esmaga a dinâmica natural da fala.
Ajuste o lowpass com base na taxa de amostragem da fonte:
- Fonte de 16 kHz →
lowpass=7500 - Fonte de 44,1 kHz ou superior →
lowpass=12000(ou pule)
Verifique a audibilidade do convidado após a renderização: execute ffmpeg -i SAIDA -af "ebur128=peak=true" -f null - e verifique se I: está próximo de −16 LUFS e LRA: está entre 4–6 LU (LRA mais apertada é aceitável porque dynaudnorm fez o balanceamento por janela primeiro). Se a saída parecer que o convidado foi cortado, suspeite de um gate ou compressor agressivo que voltou.
Passo 5: Verifique a saída
ls -lh "ARQUIVO_SAIDA"
ffprobe -v quiet -show_entries format=duration -of csv=p=0 "ARQUIVO_SAIDA"
Relate: duração, tamanho do arquivo, o que foi removido (contagem de preenchimentos, contagem de silêncios, tempo economizado).
Episódios em vídeo (gravações Zoom / Riverside)
Quando a fonte é um vídeo e o usuário deseja um vídeo cortado de volta (ex.: um co-apresentador precisa do episódio editado para dublar em outro idioma), execute os Passos 1–3 exatamente como acima — extraia os pedaços de áudio diretamente do mp4 com -vn — e então aplique os mesmos pontos de corte ao vídeo e áudio em uma única passada:
# 1) mesmos pedaços + transcrição do Passo 3, mas a partir do vídeo
for i in $(seq 0 300 DURACAO); do
ffmpeg -y -v error -ss $i -t 300 -i FONTE.mp4 -vn -ar 16000 -ac 1 /tmp/wchunk_${i}.mp3 &
done; wait
# 2) filler_removal.py como de costume -> /tmp/ffmpeg_filter.txt
# 3) transforme seus segmentos mantidos em um filtro combinado de vídeo+áudio
python3 video_cut.py /tmp/video_filter.txt
# 4) uma passada de renderização (codificador de hardware; ~7 min para um episódio de 60 min 1080p)
ffmpeg -y -i FONTE.mp4 -filter_complex_script /tmp/video_filter.txt \
-map '[vout]' -map '[aout]' \
-c:v h264_videotoolbox -b:v 3500k -c:a aac -b:a 160k \
-movflags +faststart episode-edited.mp4
Use -c:v libx264 -crf 21 -preset veryfast em vez de h264_videotoolbox em hardware não Apple.
Notas:
- Construa
--chunk-offsetscomo$(seq 0 300 3600 | paste -sd, -). Um campo vazio no final quebra o analisador de argumentos. - O resultado é no estilo corte seco. Isso é esperado e aceitável para uma grade de cabeças falantes; uma pequena dissolução em 400+ pontos de corte parece pior que um corte seco.
video_cut.pyincorpora a cadeia de aprimoramento na mesma passada, então, ao contrário do caminho de áudio, não há WAV intermediário de duas passadas. Não execute a cadeia novamente depois.- Calcule ~1,5 GB para uma saída de 60 min 1080p — grande demais para enviar por e-mail, então faça upload e compartilhe um link.
- Salve a lista de segmentos mantidos ao lado do episódio. Sem ela, uma solicitação posterior de "mesmo corte, mas como vídeo" terá que re-derivar os cortes, e eles não corresponderão à versão de áudio que você já entregou.
Convenções de saída
- Formato: MP3, 192 kbps, mono (a menos que a fonte seja estéreo com canais separados por falante)
- Loudness: −16 LUFS (padrão de podcast)
- Sempre duas passadas: corte para WAV primeiro, depois aprimore para MP3
Re-corte de um episódio já finalizado
Quando o usuário sinalizar problemas específicos em um episódio publicado ("algumas frases ficaram", "corte a parte sobre X", "o final foi regravado", "remova a introdução duplicada"), não reexecute todo o pipeline a partir do bruto. Corte cirurgicamente os intervalos problemáticos do MP3 finalizado e recodifique uma vez:
- Retranscreva o arquivo final em pedaços de 5 min (granularidade de segmento) → um único transcricão com timestamps absolutos. Este é seu mapa.
- Para cada item sinalizado, obtenha timestamps em nível de palavra apenas para o pedaço que o contém (essas frases geralmente estão inseridas no meio da frase, não nos limites do segmento). Determine pontos de entrada/saída precisos.
- Construa um filtro
atrim+concatque mantenha tudo exceto os intervalos de corte; renderize para WAV (pcm_s16le) e depois uma única passada MP3. Não reaplique a cadeia de aprimoramento — o final já está aprimorado/loudnorm; reexecutar processa duas vezes. - Verifique cada junção: extraia uma janela de ~11s centrada em cada nova junção (na nova linha do tempo) e retranscreva-a. Confirme que o áudio ruim desapareceu e a junção está limpa.
- Recalcule qualquer linha do tempo de notas do programa: cada timestamp após um corte se desloca para trás pela soma dos comprimentos de todos os cortes anteriores a ele. Se o arquivo publicado anexar um resumo de destaques, também considere a duração do resumo como um deslocamento (um resumo recortado muda de comprimento, então todo o episódio se desloca).
Lista de verificação para re-corte — o que a primeira passagem geralmente deixa entrar
Estes sobrevivem à remoção de preenchimentos/silêncios porque estão mesclados a frases reais. Varra o transcricão em busca deles explicitamente:
- Conversa técnica/de reunião: "você está mudo / tira o mudo", "sua voz está muito baixa / consegue me ouvir", "você pode ver minha tela", "espere um pouco, vou ver". Corte a frase, mantenha o conteúdo ao redor.
- Tópicos sem saída: o painel levanta um produto/caso que ninguém pesquisou, então diz "vamos pular isso / deixa pra lá" — corte todo o desvio, não apenas a linha de pular.
- Segmentos regravados (especialmente finais): uma primeira tentativa confusa, depois um marcador como "vamos começar de novo / recomeçar / parece redundante" e, em seguida, uma regravação limpa. Corte a tentativa falsa, mantenha a regravação. Sempre inspecione os últimos ~3 min para isso.
- Introduções pré-show / duplicadas: uma auto-apresentação gravada antes do início oficial que é repetida depois — corte a cópia pré-show.
Instabilidade da API Whisper
Chamadas paralelas em nível de palavra às vezes retornam vazias (0 bytes). Tente novamente as vazias sequencialmente com um sleep 1 entre as chamadas.
Clipes de destaque e resumo de 1 minuto
Corte trechos curtos e compartilháveis de um episódio finalizado (momentos controversos / perspicazes) e, opcionalmente, monte-os em um resumo de ~1 minuto com música.
Escolhendo trechos
- Cada clipe ≈ 2 frases, ~8–20s. Priorize linhas que sejam controversas, surpreendentes ou citáveis.
- CUBRA TODOS OS FALANTES — incluindo o(s) apresentador(es). Em um painel com vários convidados, não deixe o resumo se concentrar nos 1–2 falantes mais prolíficos — escolha pelo menos um trecho forte por participante e verifique a atribuição antes de construir. (Este é o erro nº1: um "destaque" que é secretamente uma única pessoa.) O facilitador/apresentador é o mais fácil de omitir porque geralmente faz perguntas — encontre uma linha citável do apresentador (uma reação, uma piada, um enquadramento perspicaz) e inclua-a também.
- Você não pode atribuir falantes a partir do texto do transcricão — não tente, e não peça ao usuário para fazê-lo. O Whisper fornece palavras, não quem as disse; adivinhar o falante pela frase falha (uma linha que parece ser do apresentador geralmente é na verdade de um convidado). Quando o resumo precisa de uma pessoa específica, diarize o áudio (receita abaixo) e a atribuição se torna uma medição, não um palpite.
- Ordene o resumo para fluir (gancho → … → fechamento forte) e nunca coloque o mesmo falante consecutivamente.
Identifique QUEM está falando — diarização de falantes (resemblyzer)
Quando você precisar do clipe de uma pessoa específica (ou o usuário disser "X não está no resumo"), resolva pela voz, não lendo o transcricão. pip install resemblyzer (inclui seu próprio codificador — sem token HF). Receita que funcionou em um painel de 5 falantes:
- Construa vozes de referência limpas para todos que você pode identificar, a partir de segmentos onde eles dizem seus próprios nomes (introduções) ou apresentam seus próprios produtos (encerramentos de vendas) — estes são garantidamente de falante único. Faça a média de 2–3 janelas por pessoa para estabilidade:
enc.embed_utterance(preprocess_wav(fatia, source_sr=16000)), média, normalize L2. - Não agrupe cegamente todo o episódio — os segmentos do Whisper contêm conversa cruzada, então
AgglomerativeClusteringcolapsa em um único bloco grande + singleton. Em vez disso, pontue cada segmento da incorporação (cosseno) contra suas referências limpas. Segmentos que não correspondem a ninguém bem (melhor semelhança ≲ 0,78 quando correspondências reais caem em 0,88–0,94) são o N-ésimo falante não identificado. - Confirme que é uma voz consistente: pegue esses segmentos de baixa correspondência, verifique se são mutuamente semelhantes (≳0,87) e coletivamente distintos de cada referência conhecida. Construa uma referência a partir deles, reavalie todos os segmentos — os acertos de alta confiança devem ser todos essa pessoa.
- Verificação de sanidade contra um conhecido: um clipe confirmado (ex.: apresentação de produto de alguém) deve pontuar mais alto em relação à sua própria referência (≳0,9). Se suas referências não se separarem, alongue as janelas e faça a média de mais.
Carregue todo o episódio uma vez como flutuação mono de 16 kHz via um pipe ffmpeg (-f f32le -) e fatie na memória — muito mais rápido que uma chamada ffmpeg por segmento.
Verifique antes de cortar (obrigatório)
Para cada candidato, extraia a janela e retranscrev…
(O conteúdo foi truncado para tradução conforme solicitado.)