ポッドキャスト編集スキル
未編集のポッドキャスト/ミーティング録音を、洗練されたポッドキャストエピソードに加工します。
機能
- スマートトリミング — 文字起こしを実行し、イントロ/アウトロを検出することで、実際のポッドキャストの開始/終了位置を特定します
- フィラーワード除去 — 口癖(嗯、呃、啊、哦、对对对、um、uh など)を削除します
- 無音トリミング — 長い無音部分(>2秒)を自然な間(約0.6秒)に短縮します
- オーディオエンハンスメント — ノイズリダクション、EQ、マルチスピーカー音量バランス、ポッドキャスト標準(-16 LUFS)へのラウドネス正規化
- 完成エピソードの再編集 — フルパイプラインを再実行せずに、既にレンダリング済みのエピソードから指定セクションを外科的に削除します
- ハイライトクリップ & リール — シェア可能なサウンドバイトを切り出し、音楽付きの約1分のリールにまとめます
- ビデオカット — Zoom/Riversideのビデオ録画に同じ編集を適用します(「ビデオエピソード」を参照)
前提条件
ffmpegとffprobeがインストールされていること- 環境変数に
OPENAI_API_KEYが設定されていること(Whisper API 文字起こし用) - Python 3 がインストールされていること(標準ライブラリのみ。ヘルパースクリプトに追加の依存関係は不要)
- オプション:
resemblyzer(pip install resemblyzer)— ハイライトリール作成時の話者ダイアライゼーションにのみ使用
ワークフロー
ステップ 1: オーディオファイルを調査する
ffprobe -v quiet -print_format json -show_format -show_streams "INPUT_FILE"
長さ、サンプルレート、チャンネル数、コーデック、ビットレートを確認します。
ステップ 2: ポッドキャストの開始/終了を見つける(ユーザーが前後のトリミングを依頼した場合)
5分単位に分割し、OpenAI Whisper API でセグメントレベルのタイムスタンプ付きで文字起こしします:
# チャンクを抽出
ffmpeg -y -i "INPUT_FILE" -ss OFFSET -t 300 -ar 16000 -ac 1 /tmp/chunk_OFFSET.mp3
# 文字起こし
curl -s https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F file="/tmp/chunk_OFFSET.mp3" \
-F model="whisper-1" \
-F response_format="verbose_json" \
-F language="LANG" \
-F 'timestamp_granularities[]=segment' > /tmp/transcript_OFFSET.json
文字起こしをスキャンして以下を検出します:
- 開始マーカー: 「ようこそ」「皆さんこんにちは」「大家好」「欢迎」、イントロ音楽、最初の話題の文
- 終了マーカー: 「それではまた次回」「さようなら」「下期见」「感谢收听」、その後の雑談
-ss START -to END と -c copy(再エンコードなし)で初期トリミングを行い、作業ファイルを作成します。
ステップ 3: フィラーワードを除去する
トリミング済みファイルを5分単位に分割し、それぞれをワードレベルのタイムスタンプ付きで文字起こしします:
# チャンクを抽出
for i in $(seq 0 300 DURATION); do
ffmpeg -y -i "TRIMMED_FILE" -ss $i -t 300 -ar 16000 -ac 1 /tmp/wchunk_${i}.mp3
done
# 各チャンクを文字起こし(並列実行可能)
for i in $(seq 0 300 DURATION); do
curl -s https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F file="/tmp/wchunk_${i}.mp3" \
-F model="whisper-1" \
-F response_format="verbose_json" \
-F language="LANG" \
-F 'timestamp_granularities[]=word' \
-F 'timestamp_granularities[]=segment' > /tmp/wtranscript_${i}.json &
done
wait
次に、このスキルに付属のフィラー除去スクリプトを実行します:
python3 ./filler_removal.py \
--total-duration DURATION \
--end-at END_TIMESTAMP \
--cut START1:END1 --cut START2:END2 \
--chunk-offsets 0,300,600,900,...
引数:
--total-duration: トリミング済み入力ファイルの長さ(秒)(必須)--end-at: このタイムスタンプ以降をすべてカット(例: アフターショーの開始位置)--cut START:END: 特定の範囲をカット。繰り返し指定可能。--chunk-offsets: カンマ区切りのチャンクオフセット(デフォルト: 自動で 0,300,600,…)
スクリプトは atrim+concat フィルタを含む /tmp/ffmpeg_filter.txt を出力します。
フィルタを2パスで適用します:
# ステップ A: フィラーをカット → 中間WAV(再エンコードのアーティファクトを回避)
ffmpeg -y -i "TRIMMED_FILE" \
-filter_complex_script /tmp/ffmpeg_filter.txt \
-map '[out]' -c:a pcm_s16le -ar 44100 /tmp/podcast_cut.wav
# ステップ B: オーディオをエンハンス → 最終MP3
ffmpeg -y -i /tmp/podcast_cut.wav \
-af "ENHANCEMENT_CHAIN" \
-c:a libmp3lame -b:a 192k "OUTPUT_FILE"
制限事項: 中国語のWhisperワードレベルタイムスタンプは、隣接する音声に埋め込まれたフィラーを見逃す可能性があります。スクリプトは独立したフィラーを確実にキャッチしますが、埋め込まれたフィラーの約10~20%を見逃す可能性があります。
ステップ 4: オーディオエンハンスメントフィルタチェーン
デフォルトチェーン(ゲストに優しい — マルチスピーカーの音量不均衡を処理): 過去の実行で最大の間違いは、ノイズゲート(agate)を使用して静かなゲストを完全に消音することです。デフォルトチェーンに agate を決して追加しないでください。
highpass=f=80, # 部屋のこもり音を除去
lowpass=f=12000, # ヒスノイズを除去(16kHzソースの場合は7500を使用)
afftdn=nf=-25:nr=8:nt=w, # 緩やかなFFTノイズリダクション
equalizer=f=180:t=q:w=1.5:g=-2, # こもりをカット
equalizer=f=2500:t=q:w=1.2:g=3, # 存在感を強調
equalizer=f=4500:t=q:w=1.5:g=1.5, # 明瞭度を強調
dynaudnorm=f=200:g=5:p=0.95:m=5:s=0, # ローリングウィンドウ正規化 — 静かな話者を独立して持ち上げる
acompressor=threshold=-20dB:ratio=2:attack=5:release=200:makeup=1, # 緩やかなグルー
loudnorm=I=-16:TP=-1.5:LRA=13 # ポッドキャスト標準ラウドネス
なぜ dynaudnorm が主役なのか: 200msのローリングウィンドウで正規化するため、ゲストが話しているとき、そのウィンドウはホストのより大きなウィンドウとは独立して持ち上げられます。順序が重要 — acompressor の前に dynaudnorm を実行し、コンプレッサーがバランスの取れた信号を処理できるようにします。
デフォルトチェーンに絶対に追加しないもの:
agate(ノイズゲート)— しきい値より静かな話者をすべてカットオフし、ゲストを消します。- 強力なコンプレッション(比率 >3:1、メイクアップ >2 dB)— ダイナミクスを平坦にし、ゲストの声を不自然にします。
loudnormでの狭いLRA(<12)— 自然な話者のダイナミクスを潰します。
ソースのサンプルレートに基づいてlowpassを調整:
- 16kHzソース →
lowpass=7500 - 44.1kHz+ソース →
lowpass=12000(またはスキップ)
レンダリング後のゲストの聞こえやすさを確認: ffmpeg -i OUTPUT -af "ebur128=peak=true" -f null - を実行し、I: が -16 LUFS 付近で、LRA: が 4–6 LU であることを確認します(dynaudnorm が先にウィンドウごとのバランス調整を行ったため、少しタイトなLRAでも問題ありません)。出力がゲストがカットされたように聞こえる場合は、ゲートまたは強力なコンプレッサーが紛れ込んでいないか疑ってください。
ステップ 5: 出力を確認する
ls -lh "OUTPUT_FILE"
ffprobe -v quiet -show_entries format=duration -of csv=p=0 "OUTPUT_FILE"
報告: 長さ、ファイルサイズ、削除されたもの(フィラー数、無音数、節約された時間)。
ビデオエピソード(Zoom / Riverside 録画)
ソースがビデオで、ユーザーがビデオのカット編集を希望する場合(例: 共同ホストが別の言語に吹き替えるために編集済みエピソードを必要とする場合)、上記ステップ1~3をそのまま実行します — -vn を使用してmp4からオーディオチャンクを直接抽出します — その後、同じカットポイントを画像と音声に1パスで適用します:
# 1) ステップ3と同じチャンク+文字起こしだが、ソースはビデオから
for i in $(seq 0 300 DURATION); do
ffmpeg -y -v error -ss $i -t 300 -i SOURCE.mp4 -vn -ar 16000 -ac 1 /tmp/wchunk_${i}.mp3 &
done; wait
# 2) 通常通り filler_removal.py を実行 → /tmp/ffmpeg_filter.txt
# 3) その保持セグメントを結合されたビデオ+オーディオフィルタに変換
python3 video_cut.py /tmp/video_filter.txt
# 4) 1レンダリングパス(ハードウェアエンコーダ; 60分1080pエピソードで約7分)
ffmpeg -y -i SOURCE.mp4 -filter_complex_script /tmp/video_filter.txt \
-map '[vout]' -map '[aout]' \
-c:v h264_videotoolbox -b:v 3500k -c:a aac -b:a 160k \
-movflags +faststart episode-edited.mp4
非Appleハードウェアの場合は -c:v libx264 -crf 21 -preset veryfast を h264_videotoolbox の代わりに使用します。
注意点:
--chunk-offsetsを$(seq 0 300 3600 | paste -sd, -)で構築します。 末尾の空フィールドは引数パーサーをクラッシュさせます。- 結果はジャンプカットスタイルになります。これは想定内であり、トーキングヘッドのグリッドでは問題ありません; 400以上のカットポイントでの短いディゾルブは、ハードカットよりも見栄えが悪くなります。
video_cut.pyはエンハンスメントチェーンを同じパスに焼き付けます。そのため、オーディオパスとは異なり、2パスの中間WAVはありません。その後チェーンを再度実行しないでください。- 60分の1080p出力では約1.5GBを見積もってください — メールには大きすぎるため、アップロードしてリンクを共有してください。
- 保持セグメントリストをエピソードの隣に保存します。 これがないと、後で「同じカットだがビデオ」というリクエストがあった場合、カットを再導出する必要があり、すでに出荷したオーディオバージョンと一致しません。
出力規則
- 形式: MP3、192 kbps、モノラル(ソースがチャンネルごとに別々のスピーカーを持つステレオでない限り)
- ラウドネス: -16 LUFS(ポッドキャスト標準)
- 常に2パス: 最初にWAVにカット、次にMP3にエンハンス
完成済みエピソードの再編集
ユーザーが公開済みエピソードの特定の問題を指摘した場合(「数文が残っている」「Xの部分をカット」「エンディングを録り直した」「重複したイントロを削除」)、生のソースからパイプライン全体を再実行しないでください。 完成済みMP3から問題の範囲を外科的にカットし、1回だけ再エンコードします:
- 最終ファイルを5分チャンク(セグメント粒度)で再文字起こし → 絶対タイムスタンプ付きの統一された文字起こしを作成します。これがマップになります。
- フラグが立てられた各項目について、それを含むチャンクのみをワードレベルのタイムスタンプで取得します(これらのフレーズは通常、セグメント境界ではなく文の中間に埋め込まれています)。厳密なイン/アウトポイントを特定します。
- カット範囲以外のすべてを保持する1つの
atrim+concatフィルタを構築し、WAV(pcm_s16le)にレンダリングしてから、1回のMP3パスを実行します。エンハンスメントチェーンを再適用しないでください — 最終版はすでにエンハンス/ラウドノルム処理されています。再実行すると二重処理になります。 - すべてのスプライスを確認する: 新しいタイムライン内の各新しい結合箇所を中心とした約11秒のウィンドウを抽出し、再文字起こしします。問題のオーディオが削除され、再接続がきれいに読めることを確認します。
- ショーノートのタイムラインを再計算します: カット後のすべてのタイムスタンプは、その前のすべてのカットの合計長だけ早まります。公開済みファイルにハイライトリールが前置されている場合は、リールの長さもオフセットとして考慮します(再カットされたリールは長さが変わるため、エピソード全体がシフトします)。
再編集チェックリスト — 最初のパスでよく残るもの
これらは実際の文に溶け込んでいるため、フィラー/無音除去をすり抜けます。文字起こしで明示的にスキャンしてください:
- 会議/テクニカルチャター: 「ミュートになってるよ/アンミュートして」「你声音太小 / 听得到吗」「画面見えてる?」「等一下我看一下」。フレーズをカットし、周囲のコンテンツは保持します。
- 行き止まりのトピック: パネリストが誰も調べていない製品/ケースを持ち出し、「我们就跳过吧 / 飛ばしましょう」と言った場合 — 脱線部分全体をカットし、スキップ行だけではありません。
- 録り直しセグメント(特にエンディング): 乱雑な最初のテイク、次に「重新开始 / 从头来 / やり直しましょう / 重複している感じ」などのマーカー、その後にきれいな再テイク。誤スタートのテイクをカットし、再録版を保持します。最後の約3分を常に検査してください。
- プレショー / 重複イントロ: 公式開始前に録音された自己紹介が後で繰り返される場合 — プレショー版をカットします。
Whisper API の不安定さ
並列のワードレベル呼び出しが空(0バイト)を返すことがあります。空の応答は、呼び出しの間に sleep 1 を入れて逐次的に再試行してください。
ハイライトクリップ & 1分リール
完成済みエピソードから短くシェア可能なサウンドバイト(議論を呼ぶ / 洞察に満ちた瞬間)をカットし、オプションで音楽付きの約1分のリールにまとめます。
サウンドバイトの選び方
- 各クリップは約2文、約8~20秒。議論を呼ぶ、驚きがある、または引用したくなるような発言を優先します。
- すべての話者をカバー — ホストも含む。 複数ゲストのパネルでは、リールが最も話す1~2人の声に集中しないようにします — 参加者ごとに少なくとも1つの強いサウンドバイトを選び、構築前に帰属を確認します。(これが#1の間違い: 「ハイライト」が実は一人だけのものになることです。)ファシリテーター/ホストは主に質問をするため、省略されがちです — 引用可能なホストの発言(リアクション、ジョーク、鋭いフレーミング)を見つけて含めてください。
- 文字起こしテキストから話者を特定することはできません — 試みず、ユーザーに依頼もしないでください。 Whisperは単語を提供しますが、誰が言ったかは提供しません; 言い回しから話者を推測するのは失敗します(ホストのように読める発言が実際にはゲストの発言であることがよくあります)。リールに特定の人物が必要な場合は、オーディオをダイアライズし(以下のレシピ)、帰属を推測ではなく測定にします。
- リールをフローのために並べ替えます(フック → … → 強いクローザー)そして同じ話者を連続して配置しないでください。
誰が話しているかを特定 — 話者ダイアライゼーション(resemblyzer)
特定の人物のクリップが必要な場合(またはユーザーが「Xがリールに入っていない」と言った場合)、文字起こしを読むのではなく、声で解決します。pip install resemblyzer(独自のエンコーダーをバンドル — HFトークンは不要)。5話者のパネルで機能したレシピ:
- 特定できる全員のクリーンな参照音声を構築します。各自が自分の名前を言うセグメント(自己紹介)や自分の製品を売り込むセグメント(クロージングプラグ)から取得します — これらは確実に単一話者です。安定性のために一人あたり2~3ウィンドウを平均します:
enc.embed_utterance(preprocess_wav(slice, source_sr=16000))、平均、L2正規化。 - エピソード全体をブラインドクラスタリングしないでください — Whisperセグメントにはクロストークが含まれているため、
AgglomerativeClusteringは1つの巨大な塊とシングルトンに崩壊します。代わりに、各セグメントの埋め込みをクリーンな参照に対して(コサイン類似度で)スコアリングします。誰にもうまくマッチしないセグメント(最高類似度が約0.78以下で、実際の一致が0.88~0.94の場合)は、未識別のN番目の話者です。 - それが一貫した1つの声であることを確認します: それらの低マッチセグメントを取り、それらが互いに類似していること(約0.87以上)と、既知の各参照と集合的に異なることを確認します。それらから参照を構築し、すべてのセグメントを再スコアリングします — 高い信頼度のヒットはすべてその人物であるはずです。
- 既知のものと照合して健全性を確認します: 確認済みのクリップ(例: 誰かの製品ピッチ)は、自身の参照に対して最も高いスコア(約0.9以上)を示す必要があります。参照が分離しない場合は、ウィンドウを長くし、より多く平均します。
エピソード全体をffmpegパイプ(-f f32le -)を介して16kHzモノラルfloatとして一度ロードし、メモリ内でスライスします — セグメントごとにffmpegを呼び出すよりもはるかに高速です。
カット前に確認(必須)
各候補について、ウィンドウを抽出し、再文字起こしして、元のテキストが保持され、文が完全であり、クリップが自然に始まり終わることを確認します。カットはこれらの確認が合格した場合のみ行ってください。
リールの組み立て
ffmpeg の concat デマルチプレクサーを使用してクリップを結合します:
# ファイルリストを作成
echo "file '/path/to/clip1.wav'" > /tmp/clips.txt
echo "file '/path/to/clip2.wav'" >> /tmp/clips.txt
…
# BGMを追加して結合(BGMは -30dB 程度)
ffmpeg -y -f concat -safe 0 -i /tmp/clips.txt \
-i BGM_TRACK.mp3 \
-filter_complex "[0:a]volume=1[a];[1:a]volume=0.03[bgm];[a][bgm]amix=inputs=2:duration=first:weights=1 0.3" \
-c:a libmp3lame -b:a 192k highlight_reel.mp3
出力は約60秒にしてください。長すぎる場合は最も弱いクリップを削除し、短すぎる場合は別のクリップを追加するか、リールをループさせます。
トラブルシューティング
- Whisper API レート制限: 並列リクエストが多すぎると429エラーが発生します。逐次実行するか、バックオフを実装してください。
- ffmpeg フィルターの複雑さ: 非常に長い
atrimチェーンは ffmpeg をクラッシュさせる可能性があります。その場合は、より小さなチャンクに分割して個別に処理します。 - 中国語テキストのエンコーディング: ファイルパスや文字起こし出力にUTF-8が正しく設定されていることを確認してください。
制限事項とベストプラクティスの要約:
- このパイプラインで最も一般的な失敗点は、ノイズゲート(
agate)の誤った追加です。デフォルトチェーンでは決して使用しないでください。 - ビデオ編集の場合、
video_cut.pyがエンハンスメントチェーンを1パスで適用するため、その後再度適用しないでください。 - 再編集シナリオでは、すべてのスプライスを確認し、ショーノートのタイムラインを再計算してください。
- ハイライトリールでは、すべての話者をカバーし、話者の帰属を推測ではなく測定に基づいて行ってください。
- Whisper API の空の応答は、逐次再試行で処理してください。