Skill de Edición de Podcasts
Procesa grabaciones en bruto de podcasts/reuniones para convertirlas en episodios de podcast pulidos.
Capacidades
- Recorte inteligente — Encuentra dónde empieza y termina realmente el podcast transcribiendo y detectando intros/outros
- Eliminación de palabras de relleno — Elimina tics verbales: 嗯, 呃, 啊, 哦, 对对对, um, uh, etc.
- Recorte de silencios — Corta el silencio prolongado (>2 s) dejando pausas naturales (~0.6 s)
- Mejora de audio — Reducción de ruido, ecualización, balance de volumen entre varios hablantes, normalización de sonoridad al estándar de podcast (−16 LUFS)
- Re-corte de un episodio finalizado — Elimina quirúrgicamente secciones marcadas de un episodio ya renderizado sin tener que ejecutar todo el pipeline de nuevo
- Clips destacados y reel — Extrae extractos cortos compartibles y crea un reel de ~1 minuto con música
- Corte de vídeo — Aplica la misma edición a una grabación de vídeo de Zoom/Riverside (ver "Episodios de vídeo")
Prerrequisitos
ffmpegyffprobeinstaladosOPENAI_API_KEYen el entorno (para la transcripción con Whisper API)- Python 3 solo con la biblioteca estándar (sin dependencias adicionales para el script auxiliar)
- Opcional:
resemblyzer(pip install resemblyzer) — solo para la diarización de hablantes al crear reels destacados
Flujo de trabajo
Paso 1: Inspeccionar el archivo de audio
ffprobe -v quiet -print_format json -show_format -show_streams "ARCHIVO_ENTRADA"
Nota: duración, frecuencia de muestreo, canales, códec, tasa de bits.
Paso 2: Encontrar el inicio/fin del podcast (si el usuario pide recortar principio/final)
Divide en fragmentos de 5 minutos y transcribe mediante OpenAI Whisper API con marcas de tiempo a nivel de segmento:
# Extraer fragmento
ffmpeg -y -i "ARCHIVO_ENTRADA" -ss OFFSET -t 300 -ar 16000 -ac 1 /tmp/fragmento_OFFSET.mp3
# Transcribir
curl -s https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F file="@/tmp/fragmento_OFFSET.mp3" \
-F model="whisper-1" \
-F response_format="verbose_json" \
-F language="LANG" \
-F 'timestamp_granularities[]=segment' > /tmp/transcripcion_OFFSET.json
Escanea las transcripciones en busca de:
- Marcadores de inicio: "welcome", "hello everyone", "大家好", "欢迎", música de introducción, primera frase temática sustancial
- Marcadores de final: "see you next time", "bye", "下期见", "感谢收听", seguido de charla posterior al programa
Haz un recorte inicial con -ss INICIO -to FIN y -c copy (sin recodificación) para crear un archivo de trabajo.
Paso 3: Eliminar palabras de relleno
Divide el archivo recortado en fragmentos de 5 minutos y transcribe cada uno con marcas de tiempo a nivel de palabra:
# Extraer fragmentos
for i in $(seq 0 300 DURACION); do
ffmpeg -y -i "ARCHIVO_RECORTADO" -ss $i -t 300 -ar 16000 -ac 1 /tmp/wchunk_${i}.mp3
done
# Transcribir cada fragmento (se puede ejecutar en paralelo)
for i in $(seq 0 300 DURACION); do
curl -s https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F file="@/tmp/wchunk_${i}.mp3" \
-F model="whisper-1" \
-F response_format="verbose_json" \
-F language="LANG" \
-F 'timestamp_granularities[]=word' \
-F 'timestamp_granularities[]=segment' > /tmp/wtranscript_${i}.json &
done
wait
Luego ejecuta el script de eliminación de rellenos que viene con esta skill:
python3 ./filler_removal.py \
--total-duration DURACION \
--end-at MARCA_TIEMPO_FINAL \
--cut INICIO1:FIN1 --cut INICIO2:FIN2 \
--chunk-offsets 0,300,600,900,...
Argumentos:
--total-duration: Duración del archivo de entrada recortado en segundos (obligatorio)--end-at: Corta todo después de esta marca de tiempo (ejemplo: inicio de charla posterior)--cut INICIO:FIN: Corta un rango específico. Se puede repetir.--chunk-offsets: Lista separada por comas de los desplazamientos de los fragmentos (por defecto: auto 0,300,600,…)
El script genera /tmp/ffmpeg_filter.txt con un filtro atrim+concat.
Aplica el filtro en dos pasadas:
# Paso A: Cortar rellenos → WAV intermedio (evita artefactos de recodificación)
ffmpeg -y -i "ARCHIVO_RECORTADO" \
-filter_complex_script /tmp/ffmpeg_filter.txt \
-map '[out]' -c:a pcm_s16le -ar 44100 /tmp/podcast_cut.wav
# Paso B: Mejorar audio → MP3 final
ffmpeg -y -i /tmp/podcast_cut.wav \
-af "CADENA_MEJORA" \
-c:a libmp3lame -b:a 192k "ARCHIVO_SALIDA"
Limitaciones: Las marcas de tiempo a nivel de palabra de Whisper para chino pueden no detectar rellenos que se mezclan con el habla adyacente. El script capta de manera fiable los rellenos aislados, pero puede perder entre un 10 y un 20% de los rellenos incrustados.
Paso 4: Cadena de filtros de mejora de audio
Cadena por defecto (apta para invitados — maneja el desequilibrio de volumen entre varios hablantes). El error más grande en ejecuciones anteriores es usar un puerta de ruido (agate) que silencia por completo al invitado más callado. Nunca agregues agate a la cadena por defecto.
highpass=f=80, # Eliminar retumbo de la sala
lowpass=f=12000, # Eliminar silbidos (usar 7500 para fuentes de 16 kHz)
afftdn=nf=-25:nr=8:nt=w, # Reducción de ruido FFT suave
equalizer=f=180:t=q:w=1.5:g=-2, # Cortar barro
equalizer=f=2500:t=q:w=1.2:g=3, # Aumentar presencia
equalizer=f=4500:t=q:w=1.5:g=1.5, # Aumentar claridad
dynaudnorm=f=200:g=5:p=0.95:m=5:s=0, # Normalización por ventana móvil — eleva al hablante más callado de forma independiente
acompressor=threshold=-20dB:ratio=2:attack=5:release=200:makeup=1, # Compresión suave
loudnorm=I=-16:TP=-1.5:LRA=13 # Sonoridad estándar de podcast
Por qué dynaudnorm es la estrella: normaliza en ventanas móviles de 200 ms, por lo que cuando el invitado está hablando, esa ventana se eleva independientemente de las ventanas más fuertes del presentador. El orden importa: ejecuta dynaudnorm ANTES de acompressor para que el compresor vea una señal equilibrada.
Nunca agregues esto a la cadena por defecto:
agate(puerta de ruido) — corta a cualquier hablante más callado que el umbral; elimina al invitado.- Compresión fuerte (ratio >3:1, makeup >2 dB) — aplana la dinámica y hace que el invitado suene comprimido.
- LRA estrecho (<12) en
loudnorm— aplasta la dinámica natural del habla.
Ajusta el filtro paso bajo según la frecuencia de muestreo de la fuente:
- Fuente de 16 kHz →
lowpass=7500 - Fuente de 44.1 kHz o superior →
lowpass=12000(o omítelo)
Verifica la audibilidad del invitado después del renderizado: ejecuta ffmpeg -i SALIDA -af "ebur128=peak=true" -f null - y verifica que I: esté cerca de −16 LUFS y LRA: esté entre 4–6 LU (un LRA más ajustado está bien porque dynaudnorm ya hizo el equilibrio por ventana). Si la salida suena como si el invitado hubiera sido cortado, sospecha que se ha colado un puerta de ruido o un compresor agresivo.
Paso 5: Verificar la salida
ls -lh "ARCHIVO_SALIDA"
ffprobe -v quiet -show_entries format=duration -of csv=p=0 "ARCHIVO_SALIDA"
Informa: duración, tamaño del archivo, qué se eliminó (recuento de rellenos, recuento de silencios, tiempo ahorrado).
Episodios de vídeo (grabaciones de Zoom / Riverside)
Cuando la fuente es un vídeo y el usuario quiere un vídeo editado (por ejemplo, un coanfitrión necesita el episodio editado para doblarlo a otro idioma), ejecuta los Pasos 1–3 exactamente como arriba — extrae los fragmentos de audio directamente del mp4 con -vn — luego aplica los mismos puntos de corte a la imagen y al sonido en una sola pasada:
# 1) mismos fragmentos + transcripción que en el Paso 3, pero obtenidos del vídeo
for i in $(seq 0 300 DURACION); do
ffmpeg -y -v error -ss $i -t 300 -i FUENTE.mp4 -vn -ar 16000 -ac 1 /tmp/wchunk_${i}.mp3 &
done; wait
# 2) filler_removal.py como de costumbre -> /tmp/ffmpeg_filter.txt
# 3) convertir sus segmentos conservados en un filtro combinado de vídeo+audio
python3 video_cut.py /tmp/video_filter.txt
# 4) una pasada de renderizado (codificador hardware; ~7 min para un episodio de 60 min 1080p)
ffmpeg -y -i FUENTE.mp4 -filter_complex_script /tmp/video_filter.txt \
-map '[vout]' -map '[aout]' \
-c:v h264_videotoolbox -b:v 3500k -c:a aac -b:a 160k \
-movflags +faststart episode-edited.mp4
Usa -c:v libx264 -crf 21 -preset veryfast en lugar de h264_videotoolbox en hardware que no sea de Apple.
Notas:
- Construye
--chunk-offsetscomo$(seq 0 300 3600 | paste -sd, -). Un campo vacío al final rompe el analizador de argumentos. - El resultado es un corte directo (jump-cut). Eso es esperado y está bien para una parrilla de cabezas parlantes; una pequeña disolución en más de 400 puntos de corte se ve peor que un corte directo.
video_cut.pyincorpora la cadena de mejora en la misma pasada, por lo que, a diferencia de la ruta de audio, no hay un WAV intermedio de dos pasadas. No ejecutes la cadena de nuevo después.- Presupuesta ~1.5 GB para una salida de 1080p de 60 minutos, demasiado grande para enviar por correo electrónico, así que súbelo y comparte un enlace.
- Guarda la lista de segmentos conservados junto al episodio. Sin ella, una solicitud posterior de "el mismo corte, pero en vídeo" tendría que volver a derivar los cortes, y no coincidirán con la versión de audio que ya enviaste.
Convenciones de salida
- Formato: MP3, 192 kbps, mono (a menos que la fuente sea estéreo con hablantes separados por canal)
- Sonoridad: −16 LUFS (estándar de podcast)
- Siempre dos pasadas: cortar a WAV primero, luego mejorar a MP3
Re-corte de un episodio ya finalizado
Cuando el usuario señala problemas específicos en un episodio publicado ("quedaron algunas frases", "corta la parte sobre X", "el final se regrabó", "elimina la intro duplicada"), NO vuelvas a ejecutar todo el pipeline desde el principio. Corta quirúrgicamente los rangos problemáticos del MP3 finalizado y recodifica una vez:
- Vuelve a transcribir el archivo final en fragmentos de 5 minutos (granularidad de segmento) → una transcripción unificada con marcas de tiempo absolutas. Este es tu mapa.
- Para cada elemento marcado, obtén marcas de tiempo a nivel de palabra solo del fragmento que lo contiene (estas frases suelen estar incrustadas en medio de una oración, no en los límites de los segmentos). Ajusta los puntos de entrada y salida con precisión.
- Construye un filtro
atrim+concatque mantenga todo excepto los rangos de corte; renderiza a WAV (pcm_s16le) y luego una sola pasada a MP3. No vuelvas a aplicar la cadena de mejora — el archivo final ya está mejorado/normalizado; volver a ejecutarlo lo procesa dos veces. - Verifica cada empalme: extrae una ventana de ~11 s centrada en cada nueva unión (en la nueva línea de tiempo) y vuelve a transcribirla. Confirma que el audio incorrecto haya desaparecido y que la reunión se lea limpia.
- Recalcula cualquier línea de tiempo de notas del programa: cada marca de tiempo después de un corte se desplaza antes en la suma de las longitudes de todos los cortes anteriores. Si el archivo publicado antepone un reel destacado, también ten en cuenta la duración del reel como un desplazamiento (un reel recortado cambia de longitud, por lo que todo el episodio se desplaza).
Lista de verificación de re-corte — lo que la primera pasada suele dejar
Estos sobreviven a la eliminación de rellenos/silencios porque están mezclados en oraciones reales. Escanea explícitamente la transcripción en busca de ellos:
- Charla técnica/de reuniones: "estás en silencio / activa el micrófono", "你声音太小 / 听得到吗", "¿puedes ver mi pantalla?", "等一下我看一下". Corta la frase, mantén el contenido circundante.
- Temas sin salida: el panel menciona un producto/caso que nadie investigó, y luego dice "lo dejamos pasar / mejor saltemos" — corta todo el desvío, no solo la línea de salto.
- Segmentos regrabados (especialmente finales): una primera toma desordenada, luego un marcador como "重新开始 / 从头来 / mejor reiniciamos / suena redundante", y luego una retoma limpia. Corta la toma de falso inicio, mantén la regrabación. Siempre inspecciona los últimos ~3 minutos para esto.
- Intros previas al programa / duplicadas: una presentación personal grabada antes del inicio oficial que se repite más tarde — corta la copia previa al programa.
Inestabilidad de Whisper API
Las llamadas paralelas a nivel de palabra a veces devuelven vacío (0 bytes). Reintenta los vacíos secuencialmente con un sleep 1 entre llamadas.
Clips destacados y reel de 1 minuto
Extrae extractos cortos y compartibles de un episodio finalizado (momentos controvertidos / esclarecedores) y, opcionalmente, combínalos en un reel de ~1 minuto con música.
Elegir extractos
- Cada clip ≈ 2 frases, ~8–20 s. Favorece las líneas controvertidas, sorprendentes o citables.
- CUBRE A CADA HABLANTE — incluido el presentador(es). En un panel con varios invitados, no dejes que el reel se centre en las 1–2 voces más habladoras: elige al menos un extracto fuerte por participante y verifica la atribución antes de construirlo. (Este es el error #1: un "destacado" que en realidad es una sola persona.) El facilitador/presentador es el más fácil de omitir porque principalmente hace preguntas — encuentra una línea citable del presentador (una reacción, un chiste, un encuadre ingenioso) e inclúyela también.
- No puedes atribuir hablantes a partir del texto de la transcripción — no lo intentes, y no le pidas al usuario que lo haga por ti. Whisper te da palabras, no quién las dijo; adivinar al hablante por la redacción falla (una línea que parece del presentador a menudo es en realidad de un invitado). Cuando el reel necesita a una persona específica, diariza el audio (receta a continuación) y la atribución se convierte en una medición, no en una suposición.
- Ordena el reel para que tenga fluidez (gancho → … → cierre fuerte) y nunca pongas al mismo hablante seguido.
Identificar QUIÉN está hablando — diarización de hablantes (resemblyzer)
Cuando necesites el clip de una persona específica (o el usuario diga "X no está en el reel"), resuélvelo por voz, no leyendo la transcripción. pip install resemblyzer (incluye su propio codificador — no necesita token de HF). Receta que funcionó en un panel de 5 hablantes:
- Construye voces de referencia limpias para todos los que puedas identificar, a partir de segmentos donde digan su propio nombre (presentaciones) o promocionen su propio producto (cierres) — estos segmentos tienen garantizado un solo hablante. Promedia 2–3 ventanas por persona para estabilidad:
enc.embed_utterance(preprocess_wav(slice, source_sr=16000)), media, normalización L2. - No agrupes a ciegas todo el episodio — los segmentos de Whisper contienen superposiciones, por lo que
AgglomerativeClusteringcolapsa en un solo blob grande más singleton. En su lugar, puntúa la incrustación de cada segmento (coseno) con tus referencias limpias. Los segmentos que no coinciden con nadie bien (mejor similitud ≲ 0.78 cuando las coincidencias reales están entre 0.88–0.94) son el N-ésimo hablante no identificado. - Confirma que es una voz consistente: toma esos segmentos de baja coincidencia, verifica que sean mutuamente similares (≳0.87) y colectivamente distintos de cada referencia conocida. Construye una referencia a partir de ellos, vuelve a puntuar todos los segmentos — los aciertos de alta confianza deberían ser esa persona.
- Verifica contra un conocido: un clip confirmado (por ejemplo, la presentación de producto de alguien) debe puntuar más alto con su propia referencia (≳0.9). Si tus referencias no se separan, alarga las ventanas y promedia más.
Carga todo el episodio una vez como flotante mono de 16 kHz a través de un pipe de ffmpeg (-f f32le -) y segmenta en memoria — mucho más rápido que una llamada de ffmpeg por segmento.
Verificar antes de cortar (obligatorio)
Para cada candidato, extrae la ventana y vuelve a transcribirla. Confirma que:
- El clip es habla continua (sin cortar una palabra por la mitad)
- El audio es comprensible sin contexto
- No contiene "te paras" / "estás en silencio" / ningún fallo técnico
- El clip final termina en un final de frase natural (no al aire)
Construir el reel
Después de cortar y verificar ~5–10 clips:
- Orden descendente por calidad: cierra con un momento fuerte (opinión controvertida/memorable), abre con un gancho
- Duración total: apunta a 45–60 s (normaliza las duraciones de los clips: corta en silencio o recorta con
atrimsi un clip es demasiado largo) - Música de fondo: busca un archivo de música sin derechos de autor o pídele al usuario uno. Elige una pista instrumental que suba y baje con la energía del habla (sin voces, sin cambios fuertes de tempo)
- Plano de referencia de música: mezcla clips de voz sobre un puente musical
Receta de mezcla con ffmpeg (una pasada):
ffmpeg -y -i clips_concatenados.wav -i pista_musica.mp3 \
-filter_complex "
[0:a]afade=t=in:d=0.5,afade=t=out:st=55:d=2[voice];
[1:a]volume=0.08,afade=t=in:d=2,afade=t=out:st=55:d=4[music];
[voice][music]amix=inputs=2:duration=first:weights=1 0.5[out]
" -map '[out]' -c:a libmp3lame -b:a 192k reel.mp3
Ajusta el nivel de música según la dinámica de la voz (para un hablante más tranquilo, volume=0.05; para uno enérgico, volume=0.12).
Formatos de salida
Los clips individuales: WAV de 16 bits, 44.1 kHz, mono (a menos que la fuente original tenga hablantes estéreo separados). El reel combinado: MP3, 192 kbps, estéreo.
Atribución de hablantes en episodios de panel
Cuando un episodio tiene múltiples hablantes (especialmente paneles con 3+ invitados donde "el invitado A dijo" no es fiable a partir del texto), usa este flujo de trabajo de diarización para asignar correctamente los hablantes a las marcas de tiempo:
- Identifica hablantes únicos ejecutando el script
identify_speakers.pyque procesa las transcripciones de Whisper a nivel de segmento y calcula la similitud de las incrustaciones de voz con plantillas de referencia proporcionadas por el usuario - Solicita al usuario que proporcione una plantilla de referencia de audio para cada hablante conocido
- Realiza inferencias para segmentos no etiquetados basándote en la similitud de las incrustaciones y la coherencia contextual
- Formatea la salida como un archivo JSON (transcript_with_speakers.json) con marcas de tiempo de inicio/fin, texto del segmento e identificador de hablante
Esta salida se puede usar directamente en notas del programa o para una atribución precisa de clips destacados.
Solución de problemas
Silencios inesperados en la salida
- Verifica que no se haya usado
agateen la cadena de mejora - Si se usó Resemblyzer, verifica la consistencia de la frecuencia de muestreo (16 kHz)
- Vuelve a verificar los límites de corte — un corte demasiado agresivo puede eliminar secciones válidas del habla
¿Los archivos de salida son demasiado grandes?
- Para audio: reduce la tasa de bits (prueba con 128 kbps)
- Para vídeo: ajusta la tasa de bits del vídeo (prueba con
-b:v 2500k) o baja la resolución (escala a 720p) con-vf scale=1280:720 - Considera comprimir con
zipantes de compartir
¿La transcripción devuelve resultados vacíos?
- Reintenta las solicitudes fallidas secuencialmente con
sleep 1 - Verifica que
OPENAI_API_KEYsea válida y tenga créditos suficientes