Podcast 編輯技能
將原始 podcast/會議錄音處理成精緻的 podcast 集數。
能力
- 智慧修剪 — 透過轉錄並偵測開場/結尾,找出 podcast 實際的開始/結束位置
- 填充詞移除 — 移除口頭禪:嗯、呃、啊、哦、對對對、um、uh 等
- 靜音修剪 — 將過長的空白音(>2 秒)縮短為自然停頓(約 0.6 秒)
- 音訊增強 — 降噪、等化器、多說話者音量平衡、響度正規化至 podcast 標準(-16 LUFS)
- 再剪輯已完成的集數 — 外科手術式地移除已渲染完成集數中的特定標記區段,無需重新執行整個管線
- 精華片段與 Reel — 剪出可分享的金句並拼接成約 1 分鐘的配樂 Reel
- 影片剪輯 — 將相同的編輯套用至 Zoom/Riverside 的影片錄製(請參閱「影片集數」)
先決條件
- 已安裝
ffmpeg和ffprobe - 環境變數中設有
OPENAI_API_KEY(用於 Whisper API 轉錄) - Python 3(僅需標準函式庫,輔助腳本不需額外依賴)
- 可選:
resemblyzer(pip install resemblyzer) — 僅在建立精華 Reel 時用於說話者日誌化
工作流程
步驟 1:檢查音訊檔案
ffprobe -v quiet -print_format json -show_format -show_streams "INPUT_FILE"
記錄:時長、取樣率、聲道數、編碼格式、位元率。
步驟 2:找出 podcast 開始/結束(若使用者要求修剪前/後)
將音訊分割成 5 分鐘區塊,並透過 OpenAI Whisper API 進行帶有區段時間戳的轉錄:
# 提取區塊
ffmpeg -y -i "INPUT_FILE" -ss OFFSET -t 300 -ar 16000 -ac 1 /tmp/chunk_OFFSET.mp3
# 轉錄
curl -s https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F file="@/tmp/chunk_OFFSET.mp3" \
-F model="whisper-1" \
-F response_format="verbose_json" \
-F language="LANG" \
-F 'timestamp_granularities[]=segment' > /tmp/transcript_OFFSET.json
掃描轉錄內容,尋找:
- 開始標記:「歡迎」、「大家好」、「hello everyone」、「welcome」、開場音樂、第一個實質主題句
- 結束標記:「下期見」、「感謝收聽」、「bye」、「see you next time」,接著是節目後的閒聊
使用 -ss START -to END 和 -c copy(不重新編碼)進行初步修剪,建立一個工作檔案。
步驟 3:移除填充詞
將修剪後的檔案分割成 5 分鐘區塊,並對每個區塊進行逐字時間戳轉錄:
# 提取區塊
for i in $(seq 0 300 DURATION); do
ffmpeg -y -i "TRIMMED_FILE" -ss $i -t 300 -ar 16000 -ac 1 /tmp/wchunk_${i}.mp3
done
# 轉錄每個區塊(可並行執行)
for i in $(seq 0 300 DURATION); do
curl -s https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F file="@/tmp/wchunk_${i}.mp3" \
-F model="whisper-1" \
-F response_format="verbose_json" \
-F language="LANG" \
-F 'timestamp_granularities[]=word' \
-F 'timestamp_granularities[]=segment' > /tmp/wtranscript_${i}.json &
done
wait
然後執行此技能附帶的填充詞移除腳本:
python3 ./filler_removal.py \
--total-duration DURATION \
--end-at END_TIMESTAMP \
--cut START1:END1 --cut START2:END2 \
--chunk-offsets 0,300,600,900,...
引數:
--total-duration:修剪後輸入檔案的時長(秒)(必要)--end-at:在此時間戳之後的全部內容都剪掉(例如,節目後閒聊的開始位置)--cut START:END:剪掉特定範圍,可重複使用--chunk-offsets:逗號分隔的區塊偏移量(預設自動為 0,300,600,…)
腳本會輸出 /tmp/ffmpeg_filter.txt,內含一個 atrim+concat 濾鏡。
透過兩個步驟套用濾鏡:
# 步驟 A:剪掉填充詞 → 中間 WAV(避免重新編碼的人工痕跡)
ffmpeg -y -i "TRIMMED_FILE" \
-filter_complex_script /tmp/ffmpeg_filter.txt \
-map '[out]' -c:a pcm_s16le -ar 44100 /tmp/podcast_cut.wav
# 步驟 B:增強音訊 → 最終 MP3
ffmpeg -y -i /tmp/podcast_cut.wav \
-af "ENHANCEMENT_CHAIN" \
-c:a libmp3lame -b:a 192k "OUTPUT_FILE"
限制: Whisper 的中文逐字時間戳可能會漏掉那些與相鄰語音融合的填充詞。此腳本可靠地捕捉獨立填充詞,但可能會漏掉約 10–20% 的嵌入式填充詞。
步驟 4:音訊增強濾鏡鏈
預設濾鏡鏈(來賓友善 — 處理多說話者音量不平衡)。 過去執行中最大的錯誤是使用噪音閘(agate),它會完全靜音較安靜的來賓。請勿在預設濾鏡鏈中加入 agate。
highpass=f=80, # 移除房間低頻轟鳴
lowpass=f=12000, # 移除嘶聲(16kHz 來源改為 7500)
afftdn=nf=-25:nr=8:nt=w, # 溫和的 FFT 降噪
equalizer=f=180:t=q:w=1.5:g=-2, # 減少渾濁感
equalizer=f=2500:t=q:w=1.2:g=3, # 增強臨場感
equalizer=f=4500:t=q:w=1.5:g=1.5, # 增強清晰度
dynaudnorm=f=200:g=5:p=0.95:m=5:s=0, # 滾動窗口正規化 — 獨立提升較安靜說話者的音量
acompressor=threshold=-20dB:ratio=2:attack=5:release=200:makeup=1, # 溫和的壓縮
loudnorm=I=-16:TP=-1.5:LRA=13 # podcast 標準響度
為什麼 dynaudnorm 是關鍵: 它以 200 毫秒的滾動窗口進行正規化,因此當來賓說話時,該窗口會在主講者較大聲的窗口中獨立提升音量。順序很重要 — 請在 acompressor 之前執行 dynaudnorm,以便壓縮器接收到平衡的信號。
請勿在預設濾鏡鏈中加入這些:
agate(噪音閘) — 會切斷任何低於閾值的說話者;會毀掉來賓的聲音。- 重度壓縮(ratio >3:1, makeup >2 dB) — 壓平動態,讓來賓聽起來像被泵過。
loudnorm中過窄的 LRA(<12) — 會破壞自然的語音動態。
根據來源取樣率調整 lowpass:
- 16kHz 來源 →
lowpass=7500 - 44.1kHz+ 來源 →
lowpass=12000(或省略)
在渲染後驗證來賓的可聽度: 執行 ffmpeg -i OUTPUT -af "ebur128=peak=true" -f null - 並檢查 I: 接近 -16 LUFS,LRA: 在 4–6 LU(較緊的 LRA 也可以,因為 dynaudnorm 已先進行了逐窗口平衡)。如果輸出聽起來像來賓被切斷,請懷疑是否有噪音閘或激進的壓縮器悄悄混入。
步驟 5:驗證輸出
ls -lh "OUTPUT_FILE"
ffprobe -v quiet -show_entries format=duration -of csv=p=0 "OUTPUT_FILE"
回報:時長、檔案大小、移除了哪些內容(填充詞數量、靜音數量、節省的時間)。
影片集數(Zoom / Riverside 錄製)
當來源是影片且使用者想要回一份已剪輯的影片時(例如,共同主持人需要已編輯的集數來配音成另一種語言),請完全按照上述步驟 1–3 執行 — 從 mp4 中提取音訊區塊時加上 -vn — 然後將相同的剪輯點套用至畫面和聲音,並一次性渲染:
# 1) 與步驟 3 相同的區塊 + 轉錄,但來源是影片
for i in $(seq 0 300 DURATION); do
ffmpeg -y -v error -ss $i -t 300 -i SOURCE.mp4 -vn -ar 16000 -ac 1 /tmp/wchunk_${i}.mp3 &
done; wait
# 2) 照常使用 filler_removal.py -> /tmp/ffmpeg_filter.txt
# 3) 將其 keep 區段轉換為結合影片+音訊的濾鏡
python3 video_cut.py /tmp/video_filter.txt
# 4) 一次渲染流程(硬體編碼器;60 分鐘 1080p 集數約需 7 分鐘)
ffmpeg -y -i SOURCE.mp4 -filter_complex_script /tmp/video_filter.txt \
-map '[vout]' -map '[aout]' \
-c:v h264_videotoolbox -b:v 3500k -c:a aac -b:a 160k \
-movflags +faststart episode-edited.mp4
在非 Apple 硬體上,請使用 -c:v libx264 -crf 21 -preset veryfast 替代 h264_videotoolbox。
注意事項:
- 使用
$(seq 0 300 3600 | paste -sd, -)來建立--chunk-offsets。 結尾空欄位會導致引數解析器崩潰。 - 結果是跳接風格。對於談話性頭像網格來說,這是預期且可接受的;在超過 400 個剪輯點上使用短溶解效果看起來會比硬剪輯更糟。
video_cut.py會將增強濾鏡鏈烘焙到同一次渲染中,因此與音訊路徑不同,這裡沒有兩階段的 WAV 中間檔案。之後請不要再執行一次濾鏡鏈。- 60 分鐘 1080p 輸出預估約需 1.5 GB — 太大無法透過電子郵件寄送,因此請上傳並分享連結。
- 將 keep 區段列表保存在集數旁。 沒有它,後續的「相同剪輯,但輸出為影片」請求就必須重新推導剪輯點,而且它們將無法與您已交付的音訊版本匹配。
輸出慣例
- 格式:MP3,192 kbps,單聲道(除非來源為立體聲且各聲道有獨立的說話者)
- 響度:-16 LUFS(podcast 標準)
- 始終採用兩階段流程:先剪成 WAV,然後增強為 MP3
再剪輯已完成的集數
當使用者標記已發布集數中的特定問題時(「有幾句話遺留了」、「剪掉關於 X 的部分」、「結尾重新錄製了」、「刪除重複的開場」),請勿從原始檔案重新執行整個管線。 從完成的 MP3 中外科手術式地剪掉有問題的範圍,然後重新編碼一次:
- 將最終檔案以 5 分鐘區塊重新轉錄(區段級別粒度)→ 得到一份帶有絕對時間戳的統一轉錄稿。這就是您的地圖。
- 對於每個標記項目,取得包含它的區塊的逐字時間戳(這些短語通常嵌入在句子中間,而非在區段邊界上)。精確定位切入/切出點。
- 建立一個
atrim+concat濾鏡,保留除了剪輯範圍以外的所有內容;渲染為 WAV(pcm_s16le),然後再進行一次 MP3 處理。請勿重新套用增強濾鏡鏈 — 最終檔案已經過增強/loudnorm 處理;重新運算會造成雙重處理。 - 驗證每個拼接點: 提取一個以每個新接合點為中心(在新時間軸上)的約 11 秒窗口,並重新轉錄它。確認壞掉的音訊已消失,且接合處聽起來流暢。
- 重新計算任何節目筆記的時間軸:在剪輯之後的每個時間戳都會提前,提前量為該時間戳之前所有剪輯的總長度。如果發布的檔案前面加上了一個精華 Reel,也需將該 Reel 的時長作為偏移量考慮在內(重新剪輯的 Reel 長度會改變,因此整個集數都會位移)。
再剪輯檢查清單 — 第一輪常被遺留的內容
以下這些通常能躲過填充詞/靜音移除,因為它們與真實句子混合在一起。請明確掃描轉錄稿:
- 會議/技術閒聊:「您已靜音 / 請解除靜音」、「你聲音太小 / 聽得到嗎」、「可以看我的螢幕嗎」、「等一下我看一下」。 剪掉該短語,保留周圍內容。
- 死胡同話題: 與會者提出一個沒人研究過的產品/案例,然後說「我們就跳過吧 / let's skip it」 — 剪掉整個離題段落,而不只是那句話。
- 重新錄製的片段(尤其是結尾): 一個雜亂的第一次錄製,然後是像「重新開始 / 從頭來 / let's restart / feels redundant」這樣的標記,接著是乾淨的重新錄製。剪掉虛假的第一次錄製,保留重新錄製的內容。始終檢查最後約 3 分鐘是否有這種情況。
- 節目前 / 重複的開場: 在正式開始前錄製的自我介紹,後來重複出現 — 剪掉節目開始前的版本。
Whisper API 不穩定性
並行的逐字呼叫有時會返回空值(0 位元組)。請在兩次呼叫之間加入 sleep 1,依序重試空值的呼叫。
精華片段與 1 分鐘 Reel
從完成的集數中剪出簡短、可分享的金句(有爭議性/富有洞察力的時刻),並可選擇將它們與音樂拼接成一個約 1 分鐘的 Reel。
挑選金句
- 每個片段約 2 句話,長度約 8–20 秒。優先選擇具有爭議性、令人驚訝或值得引用的句子。
- 涵蓋每位說話者 — 包括主持人。 在有多位來賓的座談中,不要讓 Reel 集中在 1–2 位最多話的聲音上 — 為每位參與者挑選至少一句有力的金句,並在建立之前檢查歸屬。(這是 #1 錯誤:一個「精華」實際上只有一個人在講。)主持人/引導者是最容易被忽略的,因為他們大多在提問 — 找到一句可引用的主持人台詞(一個反應、一個笑話、一個犀利的框架)並將其納入。
- 您無法從轉錄文字中判斷說話者 — 請不要嘗試,也不要要求使用者替您做。 Whisper 提供的是文字,而非誰說了這些話;從措辭猜測說話者會失敗(一句讀起來像是主持人說的話,實際上往往來賓說的)。當 Reel 需要特定人物時,對音訊進行日誌化(下面的配方),歸屬就變成了一個測量問題,而非猜測問題。
- 為 Reel 安排順序以獲得流暢感(鉤子 → … → 強而有力的結尾),並且永遠不要將同一說話者的兩個片段放在一起。
識別誰在說話 — 說話者日誌化(resemblyzer)
當您需要特定人物的片段(或使用者說「X 不在 Reel 裡」)時,請透過語音來解決,而不是透過閱讀轉錄稿。pip install resemblyzer(附帶自己的編碼器 — 不需要 HF token)。在一個 5 位說話者的座談中驗證過的配方:
- 為所有您能識別的人建立乾淨的參考語音,從他們說出自己名字(自我介紹)或推銷自己產品(結尾宣傳)的段落中取得 — 這些段落保證是單一說話者。為每人平均取 2–3 個窗口以獲得穩定性:
enc.embed_utterance(preprocess_wav(slice, source_sr=16000)),取平均值,進行 L2 正規化。 - 不要盲目地對整個集數進行分群 — Whisper 區段包含串音,因此
AgglomerativeClustering會崩潰成一個巨大團塊加上一些孤立點。相反地,將每個區段的嵌入向量(餘弦相似度)與您的乾淨參考進行比對。與任何一個參考都匹配不佳的區段(最佳相似度 ≲ 0.78,而實際匹配落在 0.88–0.94 之間)就是未識別的第 N 位說話者。 - 確認這是一個一致的聲音:取那些低匹配區段,檢查它們彼此之間是否相似(≳0.87)且整體上與每個已知參考不同。從它們建立一個參考,重新比對所有區段 — 高置信度的匹配應該都是同一個人。
- 對已知樣本進行合理性檢查:一個已確認的片段(例如某人的產品宣傳)對其自身參考的得分必須最高(≳0.9)。如果您的參考無法分離,請加長窗口並平均更多樣本。
透過 ffmpeg pipe(-f f32le -)將整個集數載入為 16 kHz 單聲道浮點數,並在記憶體中進行切片 — 遠比每個區段執行一次 ffmpeg 呼叫要快。
在剪輯前進行驗證(必要)
對於每個候選片段,提取該窗口並重新轉錄。確認轉錄的文字與原始集數中的文字相符,且時長約為 8-20 秒。如果候選片段包含另一個說話者的明顯重疊,則調整時間戳或放棄該片段。
建立 Reel
使用以下濾鏡鏈將選定的片段與背景音樂拼接:
ffmpeg -y -i "EPISODE.mp3" -i "MUSIC_TRACK.mp3" \
-filter_complex "[0:a]atrim=CLIP1_START:CLIP1_END[c1]; [0:a]atrim=CLIP2_START:CLIP2_END[c2]; ...; [1:a]volume=0.15[music]; [c1][c2]...[cmusic]concat=n=M:...]" ...
確保:
- 音樂音量明顯低於語音(-15 至 -20 dB 相對語音)
- Reel 以一句有力的金句結束,或讓音樂淡出
- 最終檔案為 192 kbps MP3,約 1 分鐘
最終輸出
- 精華片段:作為獨立 MP3 檔案提供
- Reel:作為一個約 1 分鐘的 MP3 檔案提供
- 所有檔案均符合 -16 LUFS 響度標準