影片與播客摘要技能
發送一個影片/播客連結 → 取得完整逐字稿 + 結構化摘要
支援平台
| 平台 | 類型 | 字幕 | Whisper 轉錄 |
|---|---|---|---|
| YouTube | 影片 | ✅ | ✅ |
| Bilibili | 影片 | ✅ | ✅ |
| X/Twitter | 影片 | ❌ | ✅ |
| 小宇宙 (Xiaoyuzhou) | 播客 | ❌ | ✅ |
| Apple Podcasts | 播客 | ❌ | ✅ |
| 直接連結 (mp3/mp4/m3u8) | 任何 | ❌ | ✅ |
觸發條件
偵測到媒體 URL 時自動觸發:
- YouTube:
youtube.com、youtu.be - Bilibili:
bilibili.com、b23.tv - X/Twitter:
x.com、twitter.com(含影片的推文) - 小宇宙:
xiaoyuzhoufm.com - Apple Podcasts:
podcasts.apple.com - 直接連結:
.mp3、.mp4、.m3u8、.m4a、.webm
處理管線
步驟 0:偵測媒體類型
| URL 模式 | 類型 | 管線 |
|---|---|---|
xiaoyuzhoufm.com/episode/ | 播客 | → 步驟 1b(小宇宙) |
podcasts.apple.com | 播客 | → 步驟 1c(Apple) |
bilibili.com、b23.tv | 影片 | → 步驟 1d(Bilibili API) |
.mp3、.m4a 直接連結 | 音訊 | → 步驟 2b(直接下載) |
| 其他 | 影片 | → 步驟 1a(字幕提取) |
步驟 1a:影片 — 提取字幕
# 清理暫存檔
rm -f /tmp/media_sub*.vtt /tmp/media_audio.mp3 /tmp/media_transcript*.json /tmp/media_segment_*.mp3 2>/dev/null || true
# YouTube(偏好英文,備用中文)
yt-dlp --skip-download --write-auto-sub --sub-lang "en,zh-Hans" -o "/tmp/media_sub" "VIDEO_URL"
# Bilibili
yt-dlp --skip-download --write-auto-sub --sub-lang "zh-Hans,zh" -o "/tmp/media_sub" "VIDEO_URL"
檢查字幕:
ls /tmp/media_sub*.vtt 2>/dev/null
- 有字幕 → 讀取 VTT 內容,跳到步驟 3
- 無字幕 → 步驟 2a(下載音訊)
步驟 1b:小宇宙 — 提取音訊網址
# 從 __NEXT_DATA__ 提取 CDN 直接連結
# 小宇宙是 Next.js SPA,但初始 HTML 包含 __NEXT_DATA__ 中的音訊網址
AUDIO_URL=$(curl -sL -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36" \
"EPISODE_URL" \
| grep -oE 'https://media\.xyzcdn\.net/[^"]+\.(m4a|mp3)' \
| head -1)
echo "Audio URL: $AUDIO_URL"
# 下載音訊
curl -L -o /tmp/media_audio.mp3 "$AUDIO_URL"
如果 curl 提取結果為空(罕見),備用方案:使用 Puppeteer/瀏覽器取得渲染後的頁面並提取。
→ 步驟 2b(檢查大小並轉錄)
步驟 1c:Apple Podcasts — 透過 yt-dlp
yt-dlp -f "ba[ext=m4a]/ba/b" --extract-audio --audio-format mp3 --audio-quality 5 \
-o "/tmp/media_audio.%(ext)s" "APPLE_PODCAST_URL"
→ 步驟 2b(檢查大小並轉錄)
步驟 1d:Bilibili — API 直接音訊串流
即使提供 cookies,yt-dlp 對 Bilibili 仍會回傳 412。改用 Bilibili 的 API:
# 1. 從網址提取 BV 號碼
BV="BV1xxxxx" # 替換為實際 BV 號碼
# 2. 取得影片資訊(標題、長度、CID)
curl -s "https://api.bilibili.com/x/web-interface/view?bvid=$BV" \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" \
| python3 -c "import json,sys; d=json.load(sys.stdin)['data']; print(f'Title: {d['title']}\nDuration: {d['duration']}s\nCID: {d['cid']}')"
# 3. 取得音訊串流網址
CID=<上一步取得的 CID>
AUDIO_URL=$(curl -s "https://api.bilibili.com/x/player/playurl?bvid=$BV&cid=$CID&fnval=16&qn=64" \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" \
| python3 -c "import json,sys; print(json.load(sys.stdin)['data']['dash']['audio'][0]['baseUrl'])")
# 4. 下載音訊(需要 Referer 標頭,否則會 403)
curl -L -o /tmp/media_audio.m4s \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" "$AUDIO_URL"
# 5. 轉換為 mp3
ffmpeg -y -i /tmp/media_audio.m4s -acodec libmp3lame -q:a 5 /tmp/media_audio.mp3
→ 步驟 2b(檢查大小並轉錄)
步驟 2a:影片 — 下載音訊(無字幕時)
# YouTube 可能需要 --cookies-from-browser chrome 來繞過機器人偵測
yt-dlp --cookies-from-browser chrome -f "ba[ext=m4a]/ba/b" --extract-audio --audio-format mp3 --audio-quality 5 \
-o "/tmp/media_audio.%(ext)s" "VIDEO_URL"
步驟 2b:檢查音訊大小與分段
FILE_SIZE=$(stat -f%z /tmp/media_audio.* 2>/dev/null || stat -c%s /tmp/media_audio.* 2>/dev/null)
echo "File size: $FILE_SIZE bytes"
- ≤ 25MB (25000000) → 步驟 2c(直接轉錄)
- > 25MB → 先分割,再逐一轉錄每個段落
大型音訊分割(>25MB):
# 取得總長度
DURATION=$(ffprobe -v error -show_entries format=duration -of csv=p=0 /tmp/media_audio.* | head -1)
# 分割為 10 分鐘段落(確保每段小於 25MB)
SEGMENT_SEC=600
SEGMENTS=$(python3 -c "import math; print(math.ceil(float('$DURATION')/$SEGMENT_SEC))")
# 切割段落
for i in $(seq 0 $((SEGMENTS-1))); do
START=$((i * SEGMENT_SEC))
ffmpeg -y -i /tmp/media_audio.* -ss $START -t $SEGMENT_SEC -acodec libmp3lame -q:a 5 \
"/tmp/media_segment_${i}.mp3" 2>/dev/null
done
→ 依序對每個段落呼叫步驟 2c(並行會觸發 Groq 524 逾時),然後串接結果
步驟 2c:Whisper 轉錄
先決條件:GROQ_API_KEY 環境變數
# 檢查 API 金鑰
if [ -z "$GROQ_API_KEY" ]; then
echo "❌ GROQ_API_KEY 未設定。請至 https://console.groq.com/keys 取得"
exit 1
fi
# 轉錄單一檔案(將 AUDIO_FILE 替換為實際路徑)
curl -s -X POST "https://api.groq.com/openai/v1/audio/transcriptions" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-H "Content-Type: multipart/form-data" \
-F "file=@AUDIO_FILE" \
-F "model=whisper-large-v3-turbo" \
-F "response_format=verbose_json" \
-F "language=zh" \
> /tmp/media_transcript.json
# 提取純文字
python3 -c "import json; print(json.load(open('/tmp/media_transcript.json'))['text'])"
Whisper 模型選項:
| 模型 | 速度 | 準確度 | 使用情境 |
|---|---|---|---|
whisper-large-v3-turbo | 即時 10 倍 | 高 | 預設選擇 |
whisper-large-v3 | 即時 5 倍 | 最高 | 專業/吵雜內容 |
語言參數:
- 中文:
language=zh - 英文:
language=en - 自動偵測:省略 language 參數
步驟 3:結構化摘要
根據媒體類型選擇輸出格式:
影片(≤20 分鐘):
- 概述(1-2 句)
- 重點(3-5 個要點)
- ** Notable Quotes **(若有的話)
- 行動項目(若適用)
播客(>20 分鐘):
- 概述(2-3 句:誰討論了什麼)
- 章節摘要(按主題分段,每段 2-3 句)
- 重點(5-8 個要點)
- ** Notable Quotes **
- 行動項目(若適用)
輸出格式
影片
## 📺 影片摘要
**標題**:[影片標題]
**長度**:[x 分鐘]
**語言**:[中文/英文]
### 概述
[1-2 句摘要]
### 重點
1. [要點 1]
2. [要點 2]
...
### Notable Quotes
> "xxx" — [時間戳]
### 行動項目
- [若適用]
播客
## 🎙️ 播客摘要
**節目**:[播客名稱]
**集數**:[集數標題]
**長度**:[x 分鐘]
**來賓**:[若有的話]
### 概述
[2-3 句:誰討論了什麼、核心結論]
### 章節摘要
#### 1. [主題] (~xx:xx-xx:xx)
[2-3 句核心內容]
#### 2. [主題] (~xx:xx-xx:xx)
[2-3 句核心內容]
...
### 重點
1. [要點 1]
2. [要點 2]
...
### Notable Quotes
> "xxx"
### 行動項目
- [若適用]
錯誤處理
| 情況 | 處理方式 |
|---|---|
| 無字幕 + 無 GROQ_API_KEY | 提示使用者設定 API 金鑰 |
| 無字幕 + 有 API 金鑰 | 自動 Whisper 轉錄 |
| 小宇宙 curl 提取為空 | 使用 Puppeteer/瀏覽器取得渲染後的 HTML |
| 音訊 >25MB | ffmpeg 分段(10 分鐘/段),依序轉錄 |
| 播客 >2 小時 | 警告使用者長度,確認後再繼續 |
| Groq 524 逾時 | 不要平行化處理 — 依序轉錄,段落間暫停 5-8 秒 |
| Groq 429 速率限制 | 每小時 7200 秒限制,等待 retry-after 標頭後重試 |
| yt-dlp Bilibili 412 | 改用 Bilibili API(步驟 1d) |
| yt-dlp YouTube 機器人偵測 | 加上 --cookies-from-browser chrome |
| 網路逾時 | 重試一次 |
| Spotify 連結 | 告知使用者:不支援(受 DRM 保護) |
Groq Whisper 限制
- 每個請求最大 25MB
- 免費方案:每小時 7200 秒音訊(滑動視窗),每天約 20 小時
- 支援格式:mp3、mp4、mpeg、mpga、m4a、wav、webm
依賴項目
yt-dlp:影片下載 + 字幕提取ffmpeg:音訊轉換 + 分段curl:小宇宙音訊下載、Bilibili APIGROQ_API_KEY:Whisper 轉錄 API(免費,請至 https://console.groq.com/keys 取得)