视频与播客摘要技能
发送视频/播客链接 → 获取完整转写 + 结构化摘要
支持的平台
| 平台 | 类型 | 字幕 | Whisper 转写 |
|---|---|---|---|
| YouTube | 视频 | ✅ | ✅ |
| Bilibili | 视频 | ✅ | ✅ |
| X/Twitter | 视频 | ❌ | ✅ |
| 小宇宙 (Xiaoyuzhou) | 播客 | ❌ | ✅ |
| Apple Podcasts | 播客 | ❌ | ✅ |
| 直接链接 (mp3/mp4/m3u8) | 任意 | ❌ | ✅ |
触发方式
检测到媒体 URL 时自动触发:
- YouTube:
youtube.com、youtu.be - Bilibili:
bilibili.com、b23.tv - X/Twitter:
x.com、twitter.com(带有视频的推文) - 小宇宙:
xiaoyuzhoufm.com - Apple Podcasts:
podcasts.apple.com - 直接链接:
.mp3、.mp4、.m3u8、.m4a、.webm
处理流程
步骤 0:检测媒体类型
| URL 模式 | 类型 | 处理流程 |
|---|---|---|
xiaoyuzhoufm.com/episode/ | 播客 | → 步骤 1b(小宇宙) |
podcasts.apple.com | 播客 | → 步骤 1c(Apple) |
bilibili.com、b23.tv | 视频 | → 步骤 1d(Bilibili API) |
.mp3、.m4a 直接链接 | 音频 | → 步骤 2b(直接下载) |
| 其他 | 视频 | → 步骤 1a(字幕提取) |
步骤 1a:视频 — 提取字幕
# 清理临时文件
rm -f /tmp/media_sub*.vtt /tmp/media_audio.mp3 /tmp/media_transcript*.json /tmp/media_segment_*.mp3 2>/dev/null || true
# YouTube(优先英文,回退中文)
yt-dlp --skip-download --write-auto-sub --sub-lang "en,zh-Hans" -o "/tmp/media_sub" "VIDEO_URL"
# Bilibili
yt-dlp --skip-download --write-auto-sub --sub-lang "zh-Hans,zh" -o "/tmp/media_sub" "VIDEO_URL"
检查字幕是否成功:
ls /tmp/media_sub*.vtt 2>/dev/null
- 有字幕 → 读取 VTT 内容,跳转到步骤 3
- 无字幕 → 步骤 2a(下载音频)
步骤 1b:小宇宙 — 提取音频 URL
# 从 __NEXT_DATA__ 中提取 CDN 直链
# 小宇宙是 Next.js SPA,但初始 HTML 的 __NEXT_DATA__ 中包含音频 URL
AUDIO_URL=$(curl -sL -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36" \
"EPISODE_URL" \
| grep -oE 'https://media\.xyzcdn\.net/[^"]+\.(m4a|mp3)' \
| head -1)
echo "音频 URL: $AUDIO_URL"
# 下载音频
curl -L -o /tmp/media_audio.mp3 "$AUDIO_URL"
如果 curl 提取为空(罕见情况),则回退方案:使用 Puppeteer/浏览器获取渲染后的页面进行提取。
→ 步骤 2b(检查大小并转写)
步骤 1c:Apple Podcasts — 通过 yt-dlp
yt-dlp -f "ba[ext=m4a]/ba/b" --extract-audio --audio-format mp3 --audio-quality 5 \
-o "/tmp/media_audio.%(ext)s" "APPLE_PODCAST_URL"
→ 步骤 2b(检查大小并转写)
步骤 1d:Bilibili — API 直接获取音频流
yt-dlp 即使携带 cookie 仍可能返回 412。改用 Bilibili API:
# 1. 从 URL 中提取 BV 号
BV="BV1xxxxx" # 替换为实际的 BV 号
# 2. 获取视频信息(标题、时长、CID)
curl -s "https://api.bilibili.com/x/web-interface/view?bvid=$BV" \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" \
| python3 -c "import json,sys; d=json.load(sys.stdin)['data']; print(f'标题: {d[\"title\"]}\n时长: {d[\"duration\"]}s\nCID: {d[\"cid\"]}')"
# 3. 获取音频流 URL
CID=<上一步获取的 CID>
AUDIO_URL=$(curl -s "https://api.bilibili.com/x/player/playurl?bvid=$BV&cid=$CID&fnval=16&qn=64" \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" \
| python3 -c "import json,sys; print(json.load(sys.stdin)['data']['dash']['audio'][0]['baseUrl'])")
# 4. 下载音频(需要 Referer 头,否则返回 403)
curl -L -o /tmp/media_audio.m4s \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" "$AUDIO_URL"
# 5. 转换为 mp3
ffmpeg -y -i /tmp/media_audio.m4s -acodec libmp3lame -q:a 5 /tmp/media_audio.mp3
→ 步骤 2b(检查大小并转写)
步骤 2a:视频 — 下载音频(当无字幕时)
# YouTube 可能需要 --cookies-from-browser chrome 来绕过机器人检测
yt-dlp --cookies-from-browser chrome -f "ba[ext=m4a]/ba/b" --extract-audio --audio-format mp3 --audio-quality 5 \
-o "/tmp/media_audio.%(ext)s" "VIDEO_URL"
步骤 2b:检查音频大小并切片
FILE_SIZE=$(stat -f%z /tmp/media_audio.* 2>/dev/null || stat -c%s /tmp/media_audio.* 2>/dev/null)
echo "文件大小: $FILE_SIZE 字节"
- ≤ 25MB (25000000) → 步骤 2c(直接转写)
- > 25MB → 先切片,再依次转写每个切片
大音频切片(>25MB):
# 获取总时长
DURATION=$(ffprobe -v error -show_entries format=duration -of csv=p=0 /tmp/media_audio.* | head -1)
# 按 10 分钟切片(确保每段小于 25MB)
SEGMENT_SEC=600
SEGMENTS=$(python3 -c "import math; print(math.ceil(float('$DURATION')/$SEGMENT_SEC))")
# 切割分段
for i in $(seq 0 $((SEGMENTS-1))); do
START=$((i * SEGMENT_SEC))
ffmpeg -y -i /tmp/media_audio.* -ss $START -t $SEGMENT_SEC -acodec libmp3lame -q:a 5 \
"/tmp/media_segment_${i}.mp3" 2>/dev/null
done
→ 对每个切片顺序调用步骤 2c(并行会导致 Groq 524 超时),合并结果
步骤 2c:Whisper 转写
前提条件:环境变量 GROQ_API_KEY
# 检查 API 密钥
if [ -z "$GROQ_API_KEY" ]; then
echo "❌ GROQ_API_KEY 未设置。在此获取:https://console.groq.com/keys"
exit 1
fi
# 转写单个文件(将 AUDIO_FILE 替换为实际路径)
curl -s -X POST "https://api.groq.com/openai/v1/audio/transcriptions" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-H "Content-Type: multipart/form-data" \
-F "file=@AUDIO_FILE" \
-F "model=whisper-large-v3-turbo" \
-F "response_format=verbose_json" \
-F "language=zh" \
> /tmp/media_transcript.json
# 提取纯文本
python3 -c "import json; print(json.load(open('/tmp/media_transcript.json'))['text'])"
Whisper 模型选项:
| 模型 | 速度 | 准确率 | 使用场景 |
|---|---|---|---|
whisper-large-v3-turbo | 10 倍实时 | 高 | 默认选择 |
whisper-large-v3 | 5 倍实时 | 最高 | 专业/嘈杂内容 |
语言参数:
- 中文:
language=zh - 英文:
language=en - 自动检测:省略 language 参数
步骤 3:结构化摘要
根据媒体类型选择输出格式:
视频(≤20 分钟):
- 概述(1-2 句话)
- 关键点(3-5 个要点)
- 重要引文(如有)
- 行动项(如适用)
播客(>20 分钟):
- 概述(2-3 句话:谁讨论了什么)
- 章节摘要(按主题分段,每段 2-3 句话)
- 关键点(5-8 个要点)
- 重要引文
- 行动项(如适用)
输出格式
视频
## 📺 视频摘要
**标题**:[视频标题]
**时长**:[x 分钟]
**语言**:[中文/英文]
### 概述
[1-2 句话摘要]
### 关键点
1. [要点 1]
2. [要点 2]
...
### 重要引文
> "xxx" — [时间戳]
### 行动项
- [如适用]
播客
## 🎙️ 播客摘要
**节目**:[播客名称]
**单集**:[单集标题]
**时长**:[x 分钟]
**嘉宾**:[如有]
### 概述
[2-3 句话:谁讨论了什么,核心结论]
### 章节摘要
#### 1. [主题] (~xx:xx-xx:xx)
[2-3 句话的核心内容]
#### 2. [主题] (~xx:xx-xx:xx)
[2-3 句话的核心内容]
...
### 关键点
1. [要点 1]
2. [要点 2]
...
### 重要引文
> "xxx"
### 行动项
- [如适用]
错误处理
| 情况 | 操作 |
|---|---|
| 无字幕且无 GROQ_API_KEY | 提示用户设置 API 密钥 |
| 无字幕但有 API 密钥 | 自动 Whisper 转写 |
| 小宇宙 curl 提取为空 | 使用 Puppeteer/浏览器获取渲染后的 HTML |
| 音频 >25MB | ffmpeg 切片(10 分钟/段),顺序转写 |
| 播客 >2 小时 | 警告用户时长,确认后再继续 |
| Groq 524 超时 | 不要并行化 — 顺序转写,切片间暂停 5-8 秒 |
| Groq 429 速率限制 | 每小时 7200 秒限制,等待 retry-after 头,然后重试 |
| yt-dlp Bilibili 412 | 改用 Bilibili API(步骤 1d) |
| yt-dlp YouTube 机器人检测 | 添加 --cookies-from-browser chrome |
| 网络超时 | 重试一次 |
| Spotify 链接 | 告知用户:不支持(DRM 保护) |
Groq Whisper 限制
- 每请求最大 25MB
- 免费套餐:每小时 7200 秒音频(滚动窗口),约 20 小时/天
- 支持的格式:mp3、mp4、mpeg、mpga、m4a、wav、webm
依赖
yt-dlp:视频下载 + 字幕提取ffmpeg:音频转换 + 切片curl:小宇宙音频下载、Bilibili APIGROQ_API_KEY:Whisper 转写 API(免费获取:https://console.groq.com/keys)