Video & Podcast Digest Skill(動画・ポッドキャスト要約スキル)
動画/ポッドキャストのリンクを送信 → 全文文字起こし + 構造化サマリーを取得
サポート対象プラットフォーム
| プラットフォーム | 種類 | 字幕 | Whisper文字起こし |
|---|---|---|---|
| YouTube | 動画 | ✅ | ✅ |
| Bilibili | 動画 | ✅ | ✅ |
| X/Twitter | 動画 | ❌ | ✅ |
| 小宇宙 (Xiaoyuzhou) | ポッドキャスト | ❌ | ✅ |
| Apple Podcasts | ポッドキャスト | ❌ | ✅ |
| 直接リンク (mp3/mp4/m3u8) | 任意 | ❌ | ✅ |
トリガー
メディアURLが検出されると自動的にトリガーされます:
- YouTube:
youtube.com,youtu.be - Bilibili:
bilibili.com,b23.tv - X/Twitter:
x.com,twitter.com(動画を含むツイート) - 小宇宙:
xiaoyuzhoufm.com - Apple Podcasts:
podcasts.apple.com - 直接リンク:
.mp3,.mp4,.m3u8,.m4a,.webm
パイプライン
ステップ0: メディアタイプの検出
| URLパターン | 種類 | パイプライン |
|---|---|---|
xiaoyuzhoufm.com/episode/ | ポッドキャスト | → ステップ1b(小宇宙) |
podcasts.apple.com | ポッドキャスト | → ステップ1c(Apple) |
bilibili.com, b23.tv | 動画 | → ステップ1d(Bilibili API) |
.mp3, .m4a 直接リンク | 音声 | → ステップ2b(直接ダウンロード) |
| その他 | 動画 | → ステップ1a(字幕抽出) |
ステップ1a: 動画 — 字幕の抽出
# 一時ファイルをクリーンアップ
rm -f /tmp/media_sub*.vtt /tmp/media_audio.mp3 /tmp/media_transcript*.json /tmp/media_segment_*.mp3 2>/dev/null || true
# YouTube(英語優先、フォールバック中国語)
yt-dlp --skip-download --write-auto-sub --sub-lang "en,zh-Hans" -o "/tmp/media_sub" "VIDEO_URL"
# Bilibili
yt-dlp --skip-download --write-auto-sub --sub-lang "zh-Hans,zh" -o "/tmp/media_sub" "VIDEO_URL"
字幕の有無を確認:
ls /tmp/media_sub*.vtt 2>/dev/null
- 字幕あり → VTT内容を読み込み、ステップ3へ
- 字幕なし → ステップ2a(音声ダウンロード)
ステップ1b: 小宇宙 (Xiaoyuzhou) — 音声URLの抽出
# __NEXT_DATA__からCDN直接リンクを抽出
# 小宇宙はNext.js SPAですが、初期HTMLに__NEXT_DATA__内の音声URLが含まれています
AUDIO_URL=$(curl -sL -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36" \
"EPISODE_URL" \
| grep -oE 'https://media\.xyzcdn\.net/[^"]+\.(m4a|mp3)' \
| head -1)
echo "Audio URL: $AUDIO_URL"
# 音声をダウンロード
curl -L -o /tmp/media_audio.mp3 "$AUDIO_URL"
curl抽出が空の場合(稀):フォールバックとしてPuppeteer/ブラウザを使用してレンダリングされたページを取得します。
→ ステップ2b(サイズ確認&文字起こし)
ステップ1c: Apple Podcasts — yt-dlp経由
yt-dlp -f "ba[ext=m4a]/ba/b" --extract-audio --audio-format mp3 --audio-quality 5 \
-o "/tmp/media_audio.%(ext)s" "APPLE_PODCAST_URL"
→ ステップ2b(サイズ確認&文字起こし)
ステップ1d: Bilibili — APIによる直接音声ストリーム
yt-dlpはcookieがあってもBilibiliで412エラーを返すため、BilibiliのAPIを使用します:
# 1. URLからBV番号を抽出
BV="BV1xxxxx" # 実際のBV番号に置き換え
# 2. 動画情報を取得(タイトル、再生時間、CID)
curl -s "https://api.bilibili.com/x/web-interface/view?bvid=$BV" \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" \
| python3 -c "import json,sys; d=json.load(sys.stdin)['data']; print(f'Title: {d[\"title\"]}\nDuration: {d[\"duration\"]}s\nCID: {d[\"cid\"]}')"
# 3. 音声ストリームURLを取得
CID=<前のステップからのCID>
AUDIO_URL=$(curl -s "https://api.bilibili.com/x/player/playurl?bvid=$BV&cid=$CID&fnval=16&qn=64" \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" \
| python3 -c "import json,sys; print(json.load(sys.stdin)['data']['dash']['audio'][0]['baseUrl'])")
# 4. 音声をダウンロード(Refererヘッダー必須、ないと403)
curl -L -o /tmp/media_audio.m4s \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" "$AUDIO_URL"
# 5. mp3に変換
ffmpeg -y -i /tmp/media_audio.m4s -acodec libmp3lame -q:a 5 /tmp/media_audio.mp3
→ ステップ2b(サイズ確認&文字起こし)
ステップ2a: 動画 — 音声をダウンロード(字幕がない場合)
# YouTubeはボット検出を回避するために --cookies-from-browser chrome が必要な場合があります
yt-dlp --cookies-from-browser chrome -f "ba[ext=m4a]/ba/b" --extract-audio --audio-format mp3 --audio-quality 5 \
-o "/tmp/media_audio.%(ext)s" "VIDEO_URL"
ステップ2b: 音声サイズの確認と分割
FILE_SIZE=$(stat -f%z /tmp/media_audio.* 2>/dev/null || stat -c%s /tmp/media_audio.* 2>/dev/null)
echo "File size: $FILE_SIZE bytes"
- ≤ 25MB (25000000) → ステップ2c(直接文字起こし)
- > 25MB → まず分割し、各セグメントを文字起こし
大きな音声(>25MB)の分割:
# 総再生時間を取得
DURATION=$(ffprobe -v error -show_entries format=duration -of csv=p=0 /tmp/media_audio.* | head -1)
# 10分間のセグメントに分割(各セグメントが25MB未満になるように)
SEGMENT_SEC=600
SEGMENTS=$(python3 -c "import math; print(math.ceil(float('$DURATION')/$SEGMENT_SEC))")
# セグメントをカット
for i in $(seq 0 $((SEGMENTS-1))); do
START=$((i * SEGMENT_SEC))
ffmpeg -y -i /tmp/media_audio.* -ss $START -t $SEGMENT_SEC -acodec libmp3lame -q:a 5 \
"/tmp/media_segment_${i}.mp3" 2>/dev/null
done
→ 各セグメントに対して順次ステップ2cを呼び出し(並列実行はGroqの524タイムアウトの原因),結果を結合
ステップ2c: Whisper文字起こし
前提条件: GROQ_API_KEY 環境変数
# APIキーを確認
if [ -z "$GROQ_API_KEY" ]; then
echo "❌ GROQ_API_KEYが設定されていません。https://console.groq.com/keys で取得してください。"
exit 1
fi
# 単一ファイルの文字起こし(AUDIO_FILEを実際のパスに置き換え)
curl -s -X POST "https://api.groq.com/openai/v1/audio/transcriptions" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-H "Content-Type: multipart/form-data" \
-F "file=@AUDIO_FILE" \
-F "model=whisper-large-v3-turbo" \
-F "response_format=verbose_json" \
-F "language=zh" \
> /tmp/media_transcript.json
# プレーンテキストを抽出
python3 -c "import json; print(json.load(open('/tmp/media_transcript.json'))['text'])"
Whisperモデルのオプション:
| モデル | 速度 | 精度 | ユースケース |
|---|---|---|---|
whisper-large-v3-turbo | リアルタイムの10倍 | 高 | デフォルト選択 |
whisper-large-v3 | リアルタイムの5倍 | 最高 | プロフェッショナル/ノイズの多いコンテンツ |
言語パラメータ:
- 中国語:
language=zh - 英語:
language=en - 自動検出: languageパラメータを省略
ステップ3: 構造化サマリー
メディアの種類に応じて出力形式を選択:
動画(20分以下):
- 概要(1〜2文)
- 主要ポイント(3〜5箇条書き)
- 注目の引用(ある場合)
- アクションアイテム(該当する場合)
ポッドキャスト(20分超):
- 概要(2〜3文:誰が何を議論したか)
- 章ごとのサマリー(トピックごとに分割、各2〜3文)
- 主要ポイント(5〜8箇条書き)
- 注目の引用
- アクションアイテム(該当する場合)
出力形式
動画
## 📺 動画ダイジェスト
**タイトル**: [動画タイトル]
**再生時間**: [x分]
**言語**: [中国語/英語]
### 概要
[1〜2文のサマリー]
### 主要ポイント
1. [ポイント1]
2. [ポイント2]
...
### 注目の引用
> "xxx" — [タイムスタンプ]
### アクションアイテム
- [該当する場合]
ポッドキャスト
## 🎙️ ポッドキャストダイジェスト
**番組名**: [ポッドキャスト名]
**エピソード**: [エピソードタイトル]
**再生時間**: [x分]
**ゲスト**: [いる場合]
### 概要
[2〜3文:誰が何を議論したか、核心的な結論]
### 章ごとのサマリー
#### 1. [トピック] (~xx:xx-xx:xx)
[2〜3文の核心的な内容]
#### 2. [トピック] (~xx:xx-xx:xx)
[2〜3文の核心的な内容]
...
### 主要ポイント
1. [ポイント1]
2. [ポイント2]
...
### 注目の引用
> "xxx"
### アクションアイテム
- [該当する場合]
エラーハンドリング
| 状況 | 対応 |
|---|---|
| 字幕なし + GROQ_API_KEYなし | ユーザーにAPIキーの設定を促す |
| 字幕なし + APIキーあり | 自動Whisper文字起こし |
| 小宇宙のcurl抽出が空 | Puppeteer/ブラウザを使用してレンダリングされたHTMLを取得 |
| 音声 >25MB | ffmpegで分割(10分/セグメント)、順次文字起こし |
| ポッドキャスト >2時間 | ユーザーに再生時間を警告し、続行するか確認 |
| Groq 524タイムアウト | 並列化せず、セグメント間で5〜8秒間スリープして順次文字起こし |
| Groq 429レート制限 | 1時間あたり7200秒の制限、retry-afterヘッダーを待ってから再試行 |
| yt-dlp Bilibili 412 | 代わりにBilibili APIを使用(ステップ1d) |
| yt-dlp YouTubeボット検出 | --cookies-from-browser chrome を追加 |
| ネットワークタイムアウト | 1回再試行 |
| Spotifyリンク | ユーザーに通知:非対応(DRM保護) |
Groq Whisperの制限
- リクエストあたり最大25MB
- 無料枠:1時間あたり7200秒の音声(ローリングウィンドウ)、1日あたり約20時間
- 対応フォーマット:mp3, mp4, mpeg, mpga, m4a, wav, webm
依存関係
yt-dlp: 動画ダウンロード + 字幕抽出ffmpeg: 音声変換 + 分割curl: 小宇宙の音声ダウンロード、Bilibili APIGROQ_API_KEY: Whisper文字起こしAPI(https://console.groq.com/keys で無料取得可能)