Podcast-Bearbeitungs-Skill
Verarbeite rohe Podcast-/Meeting-Aufnahmen zu polierten Podcast-Episoden.
Fähigkeiten
- Intelligentes Trimmen – Finde heraus, wo der eigentliche Podcast beginnt/endet, indem du Transkription erstellst und Intros/Outros erkennst.
- Füllwort-Entfernung – Entferne verbale Ticks: 嗯, 呃, 啊, 哦, 对对对, um, uh, etc.
- Stille kürzen – Schneide lange Stille (>2s) auf natürliche Pausen (~0,6s) herunter.
- Audio-Verbesserung – Rauschunterdrückung, EQ, Lautstärkeausgleich für mehrere Sprecher, Lautheitsnormalisierung auf Podcast-Standard (−16 LUFS).
- Nachbearbeitung einer fertigen Episode – Entferne gezielt markierte Abschnitte aus einer bereits gerenderten Episode, ohne die gesamte Pipeline erneut auszuführen.
- Highlight-Clips & Zusammenschnitt – Schneide teilbare Soundbites und erstelle einen ~1-minütigen Zusammenschnitt mit Musik.
- Video-Schnitt – Wende den gleichen Schnitt auf eine Zoom/Riverside-Videoaufnahme an (siehe "Video-Episoden").
Voraussetzungen
ffmpegundffprobeinstalliertOPENAI_API_KEYin der Umgebung (für Whisper-API-Transkription)- Python 3 mit stdlib-only (keine zusätzlichen Abhängigkeiten für das Hilfsskript)
- Optional:
resemblyzer(pip install resemblyzer) – nur für Sprecher-Diarisierung beim Erstellen von Highlight-Reels
Arbeitsablauf
Schritt 1: Audiodatei inspizieren
ffprobe -v quiet -print_format json -show_format -show_streams "INPUT_FILE"
Notiere: Dauer, Abtastrate, Kanäle, Codec, Bitrate.
Schritt 2: Podcast-Anfang/-Ende finden (wenn der Benutzer sagt, dass vorne/hinten getrimmt werden soll)
Teile in 5-Minuten-Chunks und transkribiere über die OpenAI Whisper API mit Segment-Zeitstempeln:
# Chunk extrahieren
ffmpeg -y -i "INPUT_FILE" -ss OFFSET -t 300 -ar 16000 -ac 1 /tmp/chunk_OFFSET.mp3
# Transkribieren
curl -s https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F file="@/tmp/chunk_OFFSET.mp3" \
-F model="whisper-1" \
-F response_format="verbose_json" \
-F language="LANG" \
-F 'timestamp_granularities[]=segment' > /tmp/transcript_OFFSET.json
Durchsuche Transkriptionen nach:
- Start-Markierungen: "willkommen", "hallo zusammen", "大家好", "欢迎", Intro-Musik, erster substanzieller Themensatz
- End-Markierungen: "bis zum nächsten Mal", "tschüss", "下期见", "感谢收听", gefolgt von Nachgespräch
Führe einen ersten Trim mit -ss START -to END und -c copy (ohne Neucodierung) durch, um eine Arbeitsdatei zu erstellen.
Schritt 3: Füllwörter entfernen
Teile die getrimmte Datei in 5-Minuten-Chunks und transkribiere jeden mit Wort-Zeitstempeln:
# Chunks extrahieren
for i in $(seq 0 300 DURATION); do
ffmpeg -y -i "TRIMMED_FILE" -ss $i -t 300 -ar 16000 -ac 1 /tmp/wchunk_${i}.mp3
done
# Jeden Chunk transkribieren (kann parallel ausgeführt werden)
for i in $(seq 0 300 DURATION); do
curl -s https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F file="@/tmp/wchunk_${i}.mp3" \
-F model="whisper-1" \
-F response_format="verbose_json" \
-F language="LANG" \
-F 'timestamp_granularities[]=word' \
-F 'timestamp_granularities[]=segment' > /tmp/wtranscript_${i}.json &
done
wait
Führe dann das mit diesem Skill ausgelieferte Füllwort-Entfernungs-Skript aus:
python3 ./filler_removal.py \
--total-duration DURATION \
--end-at END_TIMESTAMP \
--cut START1:END1 --cut START2:END2 \
--chunk-offsets 0,300,600,900,...
Argumente:
--total-duration: Dauer der getrimmten Eingabedatei in Sekunden (erforderlich)--end-at: Schneidet alles nach diesem Zeitstempel ab (z.B. Beginn des Nachgesprächs)--cut START:END: Schneidet einen bestimmten Bereich aus. Kann wiederholt werden.--chunk-offsets: Komma-getrennte Chunk-Offsets (Standard: automatisch 0,300,600,…)
Das Skript gibt /tmp/ffmpeg_filter.txt mit einem atrim+concat-Filter aus.
Wende den Filter in zwei Durchgängen an:
# Schritt A: Füllwörter schneiden → Zwischen-WAV (vermeidet Neucodierungsartefakte)
ffmpeg -y -i "TRIMMED_FILE" \
-filter_complex_script /tmp/ffmpeg_filter.txt \
-map '[out]' -c:a pcm_s16le -ar 44100 /tmp/podcast_cut.wav
# Schritt B: Audio verbessern → endgültiges MP3
ffmpeg -y -i /tmp/podcast_cut.wav \
-af "ENHANCEMENT_CHAIN" \
-c:a libmp3lame -b:a 192k "OUTPUT_FILE"
Einschränkungen: Whispers Wort-Zeitstempel für Chinesisch können Füllwörter übersehen, die in benachbarte Sprache eingebettet sind. Das Skript erfasst eigenständige Füllwörter zuverlässig, kann aber ~10–20% der eingebetteten verpassen.
Schritt 4: Audio-Verbesserungs-Filterkette
Standardkette (gastfreundlich – behandelt Lautstärke-Ungleichgewicht mehrerer Sprecher). Der größte Fehler in früheren Durchläufen war die Verwendung eines Noise Gates (agate), das den leiseren Gast völlig zum Schweigen bringt. Füge agate niemals wieder zur Standardkette hinzu.
highpass=f=80, # Raumbrummen entfernen
lowpass=f=12000, # Zischen entfernen (für 16kHz-Quellen 7500 verwenden)
afftdn=nf=-25:nr=8:nt=w, # Sanfte FFT-Rauschunterdrückung
equalizer=f=180:t=q:w=1.5:g=-2, # Matsch reduzieren
equalizer=f=2500:t=q:w=1.2:g=3, # Präsenz verstärken
equalizer=f=4500:t=q:w=1.5:g=1.5, # Klarheit verstärken
dynaudnorm=f=200:g=5:p=0.95:m=5:s=0, # Rollierende Fenster-Normalisierung – hebt den leiseren Sprecher unabhängig an
acompressor=threshold=-20dB:ratio=2:attack=5:release=200:makeup=1, # Sanfter Zusammenhalt
loudnorm=I=-16:TP=-1.5:LRA=13 # Podcast-Standard-Lautheit
Warum dynaudnorm der Star ist: Es normalisiert in 200 ms rollierenden Fenstern. Wenn der Gast spricht, wird dieses Fenster unabhängig von den lauteren Fenstern des Gastgebers angehoben. Die Reihenfolge ist wichtig – führe dynaudnorm VOR acompressor aus, damit der Kompressor ein ausgewogenes Signal erhält.
Füge NIEMALS Folgendes zur Standardkette hinzu:
agate(Noise Gate) – unterbricht jeden Sprecher, der leiser als der Schwellenwert ist; tötet den Gast.- Starke Kompression (Verhältnis >3:1, Makeup >2 dB) – glättet die Dynamik und lässt den Gast gepumpt klingen.
- Enges LRA (<12) in
loudnorm– zerdrückt die natürliche Sprachdynamik.
Passe den Lowpass basierend auf der Quell-Abtastrate an:
- 16kHz-Quelle →
lowpass=7500 - 44.1kHz+-Quelle →
lowpass=12000(oder weglassen)
Überprüfe die Hörbarkeit des Gasts nach dem Rendern: führe ffmpeg -i OUTPUT -af "ebur128=peak=true" -f null - aus und prüfe, ob I: nahe −16 LUFS und LRA: 4–6 LU beträgt (engeres LRA ist in Ordnung, weil dynaudnorm zuerst eine Fenster-übergreifende Balance hergestellt hat). Wenn die Ausgabe klingt, als wäre der Gast abgeschnitten, vermute ein Gate oder einen aggressiven Kompressor, der wieder eingeschlichen ist.
Schritt 5: Ausgabe überprüfen
ls -lh "OUTPUT_FILE"
ffprobe -v quiet -show_entries format=duration -of csv=p=0 "OUTPUT_FILE"
Berichte: Dauer, Dateigröße, was entfernt wurde (Anzahl der Füllwörter, Anzahl der Stilleabschnitte, eingesparte Zeit).
Video-Episoden (Zoom / Riverside-Aufnahmen)
Wenn die Quelle ein Video ist und der Benutzer ein geschnittenes Video zurück haben möchte (z.B. ein Co-Moderator benötigt die bearbeitete Episode zum Synchronisieren in eine andere Sprache), führe die Schritte 1–3 genau wie oben aus – extrahiere die Audio-Chunks direkt aus der mp4 mit -vn – und wende dann die gleichen Schnittpunkte in einem Durchgang auf Bild und Ton an:
# 1) Gleiche Chunks + Transkription wie Schritt 3, aber aus dem Video
for i in $(seq 0 300 DURATION); do
ffmpeg -y -v error -ss $i -t 300 -i SOURCE.mp4 -vn -ar 16000 -ac 1 /tmp/wchunk_${i}.mp3 &
done; wait
# 2) filler_removal.py wie gewohnt -> /tmp/ffmpeg_filter.txt
# 3) Verwandle die Keep-Segmente in einen kombinierten Video+Audio-Filter
python3 video_cut.py /tmp/video_filter.txt
# 4) Ein Render-Durchgang (Hardware-Encoder; ~7 Min. für eine 60-minütige 1080p-Episode)
ffmpeg -y -i SOURCE.mp4 -filter_complex_script /tmp/video_filter.txt \
-map '[vout]' -map '[aout]' \
-c:v h264_videotoolbox -b:v 3500k -c:a aac -b:a 160k \
-movflags +faststart episode-edited.mp4
Verwende -c:v libx264 -crf 21 -preset veryfast anstelle von h264_videotoolbox auf Nicht-Apple-Hardware.
Hinweise:
- Baue
--chunk-offsetsals$(seq 0 300 3600 | paste -sd, -). Ein nachgestelltes leeres Feld bringt den Argument-Parser zum Abstürzen. - Das Ergebnis ist im Jump-Cut-Stil. Das ist erwartet und in Ordnung für ein Sprecher-Raster; eine kurze Überblendung an 400+ Schnittpunkten sieht schlimmer aus als ein harter Schnitt.
video_cut.pyintegriert die Verbesserungskette in denselben Durchgang, so dass es im Gegensatz zum Audio-Pfad keinen Zwei-Durchgang-WAV-Zwischenschritt gibt. Führe die Kette danach nicht erneut aus.- Budgetiere ~1,5 GB für eine 60-minütige 1080p-Ausgabe – zu groß für E-Mail, also lade sie hoch und teile einen Link.
- Speichere die Keep-Segment-Liste neben der Episode. Ohne sie müsste bei einer späteren Anfrage "gleicher Schnitt, aber als Video" der Schnitt neu abgeleitet werden, und er würde nicht mit der bereits ausgelieferten Audio-Version übereinstimmen.
Ausgabe-Konventionen
- Format: MP3, 192 kbps, Mono (es sei denn, die Quelle ist Stereo mit getrennten Sprechern pro Kanal)
- Lautheit: −16 LUFS (Podcast-Standard)
- Immer zwei Durchgänge: zuerst in WAV schneiden, dann in MP3 verbessern
Nachbearbeitung einer bereits fertiggestellten Episode
Wenn der Benutzer bestimmte Probleme in einer veröffentlichten Episode markiert ("ein paar Sätze wurden vergessen", "schneide den Teil über X", "das Ende wurde neu aufgenommen", "lass das doppelte Intro weg"), führe NICHT die gesamte Pipeline von Grund auf neu aus. Entferne chirurgisch die störenden Bereiche aus der fertigen MP3 und codiere einmal neu:
- Transkribiere die endgültige Datei erneut in 5-Minuten-Chunks (Segment-Granularität) → ein einheitliches Transkript mit absoluten Zeitstempeln. Dies ist deine Karte.
- Für jedes markierte Element erhalte Wort-Zeitstempel nur für den Chunk, der es enthält (diese Phrasen sind normalerweise mitten im Satz eingebettet, nicht an Segmentgrenzen). Bestimme enge Ein-/Aus-Punkte.
- Baue einen
atrim+concat-Filter, der alles außer den Schnittbereichen behält; rendere zu WAV (pcm_s16le) und dann einen einzigen MP3-Durchgang. Wende die Verbesserungskette nicht erneut an – die endgültige ist bereits verbessert/loudnormiert; eine erneute Ausführung führt zu einer Doppelverarbeitung. - Überprüfe jede Schnittstelle: extrahiere ein ~11s-Fenster, das auf jede neue Verbindung zentriert ist (in der neuen Zeitachse) und transkribiere es erneut. Bestätige, dass das schlechte Audio entfernt wurde und die Wiederzusammenfügung sauber klingt.
- Berechne alle Show-Notes-Zeitachsen neu: Jeder Zeitstempel nach einem Schnitt verschiebt sich um die summierte Länge aller Schnitte davor nach vorne. Wenn die veröffentlichte Datei ein Highlight-Reel voranstellt, berücksichtige auch die Dauer des Reels als Offset (ein neu geschnittenes Reel ändert die Länge, also verschiebt sich die gesamte Episode).
Checkliste für die Nachbearbeitung – was der erste Durchlauf oft übersieht
Diese überleben die Füllwort-/Stille-Entfernung, weil sie in echte Sätze eingebettet sind. Scanne das Transkript explizit danach:
- Meeting-/Technik-Geschwätz: "du bist stumm geschaltet / schalte stumm", "你声音太小 / 听得到吗", "kannst du meinen Bildschirm sehen", "等一下我看一下". Schneide die Phrase, behalte den umgebenden Inhalt.
- Sackgassen-Themen: das Podium bringt ein Produkt/einen Fall auf, den niemand recherchiert hat, und sagt dann "那就跳过吧 / lassen wir das weg" – schneide den gesamten Umweg, nicht nur die Weglass-Zeile.
- Neu aufgenommene Segmente (besonders Enden): ein chaotischer erster Take, dann eine Markierung wie "重新开始 / von vorne / fühlt sich redundant an", dann ein sauberer erneuter Take. Schneide den Fehlstart-Take, behalte die Neuaufnahme. Überprüfe immer die letzten ~3 Minuten darauf.
- Pre-Show / doppelte Intros: eine Selbstvorstellung, die vor dem offiziellen Start aufgenommen wurde und später wiederholt wird – schneide die Pre-Show-Kopie.
Whisper-API-Unzuverlässigkeit
Parallele Wort-Zeitstempel-Aufrufe geben manchmal leer (0 Bytes) zurück. Wiederhole die leeren sequentiell mit einem sleep 1 zwischen den Aufrufen.
Highlight-Clips & 1-Minuten-Zusammenschnitt
Schneide kurze, teilbare Soundbites aus einer fertigen Episode (kontroverse / aufschlussreiche Momente) und setze sie optional zu einem ~1-minütigen Zusammenschnitt mit Musik zusammen.
Soundbites auswählen
- Jeder Clip ≈ 2 Sätze, ~8–20s. Bevorzuge Zeilen, die kontrovers, überraschend oder zitierwürdig sind.
- DECKE JEDEN SPRECHER AB – einschließlich der Moderatoren. In einem Multi-Gast-Podium lass den Zusammenschnitt nicht auf die 1–2 redseligsten Stimmen kollabieren – wähle mindestens einen starken Soundbite pro Teilnehmer aus und überprüfe die Zuordnung vor dem Bauen. (Dies ist der häufigste Fehler: ein "Highlight", das heimlich nur eine Person ist.) Der Moderator ist am einfachsten zu übersehen, weil er hauptsächlich Fragen stellt – finde eine zitierwürdige Moderatorzeile (eine Reaktion, einen Witz, eine scharfe Rahmung) und nimm sie ebenfalls auf.
- Du kannst Sprecher nicht aus Transkript-Text zuordnen – versuche es nicht und bitte den Benutzer nicht, dies für dich zu tun. Whisper liefert dir Wörter, nicht wer sie gesagt hat; die Zuordnung des Sprechers anhand der Formulierung schlägt fehl (eine Zeile, die liest wie der Moderator, ist oft tatsächlich ein Gast). Wenn der Zusammenschnitt eine bestimmte Person benötigt, diarisiere das Audio (Rezept unten) und die Zuordnung wird zu einer Messung, nicht zu einer Schätzung.
- Ordne den Zusammenschnitt für einen guten Fluss (Aufhänger → … → starkes Ende) und setze niemals denselben Sprecher hintereinander.
Identifiziere, WER spricht – Sprecher-Diarisierung (resemblyzer)
Wenn du den Clip einer bestimmten Person benötigst (oder der Benutzer sagt "X ist nicht im Reel"), löse es anhand der Stimme, nicht durch Lesen des Transkripts. pip install resemblyzer (enthält seinen eigenen Encoder – kein HF-Token). Rezept, das bei einem 5-Sprecher-Podium funktioniert hat:
- Baue saubere Referenz-Stimmen für jeden, den du identifizieren kannst, aus Segmenten, in denen sie ihren eigenen Namen sagen (Intros) oder ihr eigenes Produkt bewerben (Abschluss-Plugs) – diese sind garantiert Einzelsprecher. Mittlere 2–3 Fenster pro Person für Stabilität:
enc.embed_utterance(preprocess_wav(slice, source_sr=16000)), Mittelwert, L2-normalisieren. - Blind-Clustere nicht die gesamte Episode – Whisper-Segmente enthalten Übersprechen, also kollabiert
AgglomerativeClusteringin einen großen Klumpen + Einzelgänger. Bewerte stattdessen jedes Segment-Embedding (Cosinus) gegen deine sauberen Referenzen. Segmente, die niemandem gut entsprechen (beste Ähnlichkeit ≲ 0,78, wenn echte Treffer bei 0,88–0,94 liegen), sind der nicht identifizierte N-te Sprecher. - Bestätige, dass es eine konsistente Stimme ist: nimm diese niedrig passenden Segmente, prüfe, ob sie gegenseitig ähnlich sind (≳0,87) und sich insgesamt von jeder bekannten Referenz unterscheiden. Baue eine Referenz daraus, bewerte alle Segmente erneut – die hochvertrauenswürdigen Treffer sollten diese Person sein.
- Überprüfe die Plausibilität anhand eines Bekannten: ein bestätigter Clip (z.B. das Produkt-Pitch von jemandem) muss die höchste Punktzahl für seine eigene Referenz haben (≳0,9). Wenn deine Referenzen sich nicht trennen lassen, verlängere die Fenster und mittlere mehr.
Lade die gesamte Episode einmal als 16 kHz Mono Float über eine ffmpeg-Pipe (-f f32le -) und schneide im Speicher – weitaus schneller als ein ffmpeg-Aufruf pro Segment.
Vor dem Schneiden überprüfen (obligatorisch)
Für jeden Kandidaten extrahiere das Fenster und transkribiere es erneut.