비디오 및 팟캐스트 요약 스킬
비디오/팟캐스트 링크를 보내면 전체 대본과 구조화된 요약을 받을 수 있습니다.
지원 플랫폼
| 플랫폼 | 유형 | 자막 | Whisper 변환 |
|---|---|---|---|
| YouTube | 비디오 | ✅ | ✅ |
| Bilibili | 비디오 | ✅ | ✅ |
| X/Twitter | 비디오 | ❌ | ✅ |
| 소우주 (小宇宙) | 팟캐스트 | ❌ | ✅ |
| Apple Podcasts | 팟캐스트 | ❌ | ✅ |
| 직접 링크 (mp3/mp4/m3u8) | 모두 | ❌ | ✅ |
트리거
미디어 URL이 감지되면 자동으로 트리거됩니다:
- YouTube:
youtube.com,youtu.be - Bilibili:
bilibili.com,b23.tv - X/Twitter:
x.com,twitter.com(비디오가 포함된 트윗) - 소우주:
xiaoyuzhoufm.com - Apple Podcasts:
podcasts.apple.com - 직접 링크:
.mp3,.mp4,.m3u8,.m4a,.webm
파이프라인
단계 0: 미디어 유형 감지
| URL 패턴 | 유형 | 파이프라인 |
|---|---|---|
xiaoyuzhoufm.com/episode/ | 팟캐스트 | → 단계 1b (소우주) |
podcasts.apple.com | 팟캐스트 | → 단계 1c (Apple) |
bilibili.com, b23.tv | 비디오 | → 단계 1d (Bilibili API) |
.mp3, .m4a 직접 링크 | 오디오 | → 단계 2b (직접 다운로드) |
| 기타 | 비디오 | → 단계 1a (자막 추출) |
단계 1a: 비디오 — 자막 추출
# 임시 파일 정리
rm -f /tmp/media_sub*.vtt /tmp/media_audio.mp3 /tmp/media_transcript*.json /tmp/media_segment_*.mp3 2>/dev/null || true
# YouTube (영어 우선, 중국어 대체)
yt-dlp --skip-download --write-auto-sub --sub-lang "en,zh-Hans" -o "/tmp/media_sub" "VIDEO_URL"
# Bilibili
yt-dlp --skip-download --write-auto-sub --sub-lang "zh-Hans,zh" -o "/tmp/media_sub" "VIDEO_URL"
자막 확인:
ls /tmp/media_sub*.vtt 2>/dev/null
- 자막 있음 → VTT 내용 읽고, 단계 3으로 이동
- 자막 없음 → 단계 2a (오디오 다운로드)
단계 1b: 소우주 (小宇宙) — 오디오 URL 추출
# __NEXT_DATA__에서 CDN 직접 링크 추출
# 소우주는 Next.js SPA이지만, 초기 HTML에 __NEXT_DATA__에 오디오 URL이 포함됨
AUDIO_URL=$(curl -sL -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36" \
"EPISODE_URL" \
| grep -oE 'https://media\.xyzcdn\.net/[^"]+\.(m4a|mp3)' \
| head -1)
echo "Audio URL: $AUDIO_URL"
# 오디오 다운로드
curl -L -o /tmp/media_audio.mp3 "$AUDIO_URL"
curl 추출이 비어 있는 경우 (드묾): Puppeteer/브라우저를 사용하여 렌더링된 페이지를 가져와서 추출합니다.
→ 단계 2b (크기 확인 및 변환)
단계 1c: Apple Podcasts — yt-dlp 사용
yt-dlp -f "ba[ext=m4a]/ba/b" --extract-audio --audio-format mp3 --audio-quality 5 \
-o "/tmp/media_audio.%(ext)s" "APPLE_PODCAST_URL"
→ 단계 2b (크기 확인 및 변환)
단계 1d: Bilibili — API 직접 오디오 스트림
yt-dlp는 쿠키를 사용해도 Bilibili에서 412 오류를 반환합니다. 대신 Bilibili API를 사용합니다:
# 1. URL에서 BV 번호 추출
BV="BV1xxxxx" # 실제 BV 번호로 교체
# 2. 비디오 정보 가져오기 (제목, 길이, CID)
curl -s "https://api.bilibili.com/x/web-interface/view?bvid=$BV" \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" \
| python3 -c "import json,sys; d=json.load(sys.stdin)['data']; print(f\"Title: {d['title']}\nDuration: {d['duration']}s\nCID: {d['cid']}\")"
# 3. 오디오 스트림 URL 가져오기
CID=<이전 단계의 CID>
AUDIO_URL=$(curl -s "https://api.bilibili.com/x/player/playurl?bvid=$BV&cid=$CID&fnval=16&qn=64" \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" \
| python3 -c "import json,sys; print(json.load(sys.stdin)['data']['dash']['audio'][0]['baseUrl'])")
# 4. 오디오 다운로드 (Referer 헤더 필요, 없으면 403)
curl -L -o /tmp/media_audio.m4s \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" "$AUDIO_URL"
# 5. mp3로 변환
ffmpeg -y -i /tmp/media_audio.m4s -acodec libmp3lame -q:a 5 /tmp/media_audio.mp3
→ 단계 2b (크기 확인 및 변환)
단계 2a: 비디오 — 오디오 다운로드 (자막이 없는 경우)
# YouTube는 봇 감지를 우회하기 위해 --cookies-from-browser chrome이 필요할 수 있음
yt-dlp --cookies-from-browser chrome -f "ba[ext=m4a]/ba/b" --extract-audio --audio-format mp3 --audio-quality 5 \
-o "/tmp/media_audio.%(ext)s" "VIDEO_URL"
단계 2b: 오디오 크기 확인 및 분할
FILE_SIZE=$(stat -f%z /tmp/media_audio.* 2>/dev/null || stat -c%s /tmp/media_audio.* 2>/dev/null)
echo "File size: $FILE_SIZE bytes"
- ≤ 25MB (25000000) → 단계 2c (직접 변환)
- > 25MB → 먼저 분할한 후, 각 세그먼트 변환
대용량 오디오 분할 (>25MB):
# 전체 길이 확인
DURATION=$(ffprobe -v error -show_entries format=duration -of csv=p=0 /tmp/media_audio.* | head -1)
# 10분 단위로 분할 (각 세그먼트가 25MB 미만으로 유지됨)
SEGMENT_SEC=600
SEGMENTS=$(python3 -c "import math; print(math.ceil(float('$DURATION')/$SEGMENT_SEC))")
# 세그먼트 자르기
for i in $(seq 0 $((SEGMENTS-1))); do
START=$((i * SEGMENT_SEC))
ffmpeg -y -i /tmp/media_audio.* -ss $START -t $SEGMENT_SEC -acodec libmp3lame -q:a 5 \
"/tmp/media_segment_${i}.mp3" 2>/dev/null
done
→ 각 세그먼트에 대해 단계 2c를 순차적으로 호출 (병렬 호출 시 Groq 524 타임아웃 발생), 결과 연결
단계 2c: Whisper 변환
전제 조건: GROQ_API_KEY 환경 변수
# API 키 확인
if [ -z "$GROQ_API_KEY" ]; then
echo "❌ GROQ_API_KEY가 설정되지 않았습니다. 다음에서 발급받으세요: https://console.groq.com/keys"
exit 1
fi
# 단일 파일 변환 (AUDIO_FILE을 실제 경로로 교체)
curl -s -X POST "https://api.groq.com/openai/v1/audio/transcriptions" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-H "Content-Type: multipart/form-data" \
-F "file=@AUDIO_FILE" \
-F "model=whisper-large-v3-turbo" \
-F "response_format=verbose_json" \
-F "language=zh" \
> /tmp/media_transcript.json
# 일반 텍스트 추출
python3 -c "import json; print(json.load(open('/tmp/media_transcript.json'))['text'])"
Whisper 모델 옵션:
| 모델 | 속도 | 정확도 | 사용 사례 |
|---|---|---|---|
whisper-large-v3-turbo | 실시간의 10배 | 높음 | 기본 선택 |
whisper-large-v3 | 실시간의 5배 | 가장 높음 | 전문/잡음 콘텐츠 |
언어 매개변수:
- 중국어:
language=zh - 영어:
language=en - 자동 감지: language 매개변수 생략
단계 3: 구조화된 요약
미디어 유형에 따라 출력 형식 선택:
비디오 (≤20분):
- 개요 (1-2문장)
- 핵심 요점 (3-5개 불릿 포인트)
- 주요 인용문 (있는 경우)
- 실행 항목 (해당되는 경우)
팟캐스트 (>20분):
- 개요 (2-3문장: 누가 무엇을 논의했는지)
- 챕터 요약 (주제별로 구분, 각 2-3문장)
- 핵심 요점 (5-8개 불릿 포인트)
- 주요 인용문
- 실행 항목 (해당되는 경우)
출력 형식
비디오
## 📺 비디오 요약
**제목**: [비디오 제목]
**길이**: [x분]
**언어**: [중국어/영어]
### 개요
[1-2문장 요약]
### 핵심 요점
1. [요점 1]
2. [요점 2]
...
### 주요 인용문
> "xxx" — [타임스탬프]
### 실행 항목
- [해당되는 경우]
팟캐스트
## 🎙️ 팟캐스트 요약
**쇼**: [팟캐스트 이름]
**에피소드**: [에피소드 제목]
**길이**: [x분]
**게스트**: [있는 경우]
### 개요
[2-3문장: 누가 무엇을 논의했는지, 핵심 결론]
### 챕터 요약
#### 1. [주제] (~xx:xx-xx:xx)
[2-3문장 핵심 내용]
#### 2. [주제] (~xx:xx-xx:xx)
[2-3문장 핵심 내용]
...
### 핵심 요점
1. [요점 1]
2. [요점 2]
...
### 주요 인용문
> "xxx"
### 실행 항목
- [해당되는 경우]
오류 처리
| 상황 | 조치 |
|---|---|
| 자막 없음 + GROQ_API_KEY 없음 | 사용자에게 API 키 설정 요청 |
| 자막 없음 + API 키 있음 | 자동 Whisper 변환 |
| 소우주 curl 추출 실패 | Puppeteer/브라우저를 사용하여 렌더링된 HTML 가져오기 |
| 오디오 >25MB | ffmpeg 분할 (10분/세그먼트), 순차적으로 변환 |
| 팟캐스트 >2시간 | 사용자에게 길이 경고, 진행 전 확인 요청 |
| Groq 524 타임아웃 | 병렬화 금지 — 순차적으로 변환, 세그먼트 간 5-8초 대기 |
| Groq 429 속도 제한 | 시간당 7200초 제한, retry-after 헤더 대기 후 재시도 |
| yt-dlp Bilibili 412 | Bilibili API 사용 (단계 1d) |
| yt-dlp YouTube 봇 감지 | --cookies-from-browser chrome 추가 |
| 네트워크 타임아웃 | 한 번 재시도 |
| Spotify 링크 | 사용자에게 알림: 지원되지 않음 (DRM 보호) |
Groq Whisper 제한
- 요청당 최대 25MB
- 무료 티어: 시간당 7200초 오디오 (롤링 윈도우), 하루 약 20시간
- 지원 형식: mp3, mp4, mpeg, mpga, m4a, wav, webm
의존성
yt-dlp: 비디오 다운로드 + 자막 추출ffmpeg: 오디오 변환 + 분할curl: 소우주 오디오 다운로드, Bilibili APIGROQ_API_KEY: Whisper 변환 API (https://console.groq.com/keys에서 무료 발급)