/watch-video — 선택한 깊이로 모든 동영상 트랜스크립션 및 분석
이전 youtube-transcript 스킬을 대체하고 확장합니다. YouTube는 이제 여러 소스 중 하나일 뿐이며, 깊이는 사용자가 제어합니다.
1단계 — 입력 파싱
다음을 허용:
- YouTube: 전체 URL,
youtu.be/<id>,youtube.com/shorts/<id>, 원시 11자 ID - Loom:
loom.com/share/<id>또는loom.com/embed/<id> - Vimeo:
vimeo.com/<id> - Riverside: 다운로드 URL 또는 로컬 파일
- Zoom: 다운로드한 녹화본의 로컬
.mp4파일 - X / IG / TikTok 동영상: URL — 메타데이터는
social-fetch, 파일은 yt-dlp 사용 - 로컬 파일:
.mp4/.mov/.webm/.mkv형식의 모든 경로
URL 패턴 또는 파일 확장자로 소스를 감지합니다. 모호한 경우 사용자에게 물어봅니다.
2단계 — 깊이 모드 파싱
| 호출 방식 | 모드 | 결과물 |
|---|---|---|
/watch-video <url> | transcript (기본값) | 정리된 텍스트, 메타데이터, 선택적 챕터 |
/watch-video <url> transcript | transcript | 기본값과 동일 |
/watch-video <url> visual | visual | 트랜스크립트 + 일정 간격 프레임 + 주요 순간을 식별하는 Claude vision 패스 |
/watch-video <url> multimodal | multimodal | Gemini( $GEMINI_API_KEY 가 설정된 경우)에 네이티브 비디오 전송, 그렇지 않으면 프레임별 고밀도 Claude vision |
깊이가 지정되지 않았고 동영상이 10분을 초과하는 경우, 기본값으로 설정하기 전에 사용자에게 확인합니다(visual/multimodal은 긴 동영상에서 실제 비용이 발생함).
3단계 — 메타데이터 가져오기
URL 소스의 경우 yt-dlp 사용:
yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
--print "%(chapters)j" --skip-download "<url>"
캡처: 제목, 업로더/채널, 길이, 업로드 날짜, 설명(첫 번째 문단), 챕터(JSON 또는 null).
로컬 파일의 경우 ffprobe 사용:
ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"
4단계 — 작업 디렉토리 생성
~/Documents/videos/<source>-<slug>-<date>/
위치:
source:youtube/loom/vimeo/riverside/zoom/localslug: 제목의 케밥 표기법(처음 4–6단어, 최대 50자)date:YYYY-MM-DD
5단계 — 트랜스크립트 얻기
백엔드 선택(순서대로):
-
플랫폼 제공 트랜스크립트(존재하고 완전해 보이는 경우):
- YouTube:
yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt - Loom:
https://www.loom.com/share/<id>페이지 메타데이터 또는$LOOM_API_KEY가 설정된 경우 Loom API를 통해 가져오기 - Riverside: 녹음 공유 페이지에서 제공되는 내장 트랜스크립트
- 플랫폼 트랜스크립트가 존재하고 타임스탬프가 있으면 사용합니다. Whisper는 건너뜁니다.
- YouTube:
-
MLX-Whisper 로컬(기본 대체 — Mac M-시리즈에서 빠름):
# 한 번 설치: pip install mlx-whisper python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \ > "<workdir>/transcript-raw.json"또는 CLI 사용:
mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir> -
whisper.cpp(MLX를 사용할 수 없는 경우 추가 대체)
URL인 경우 먼저 동영상 파일을 다운로드합니다(yt-dlp 사용; Loom/Vimeo/YT 모두 지원):
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"
720p는 트랜스크립션 및 프레임 분석에 충분합니다(다운로드 크기가 작고 처리 속도가 빠름).
트랜스크립트 정리(YouTube 자동 자막에만 필요, 롤링 캡션이 있음; Whisper 출력은 이미 정리되어 있음):
# YouTube VTT 정리 — 롤링 캡션 중복 제거, 태그 제거, 큐 간격 >2s 시 단락 나누기
awk '
/^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
/-->/ { in_cue = 1; last = ""; next }
/^$/ { if (last) print last; in_cue = 0; last = ""; next }
in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"
최종 파일을 <workdir>/transcript.txt에 저장합니다.
6단계 — transcript 모드인 경우: 여기서 중단
출력:
transcript.txtmetadata.json- 채팅에 한 줄 요약: 제목, 소스, 길이, 단어 수
- 작업 디렉토리 경로
- (선택 사항) 9단계 — 두 번째 브레인에 캡처 제안
7단계 — visual 모드인 경우: 프레임 추출 + vision 패스
프레임 추출 (ffmpeg)
소스 휴리스틱에 따른 간격:
| 소스 유형 | 프레임 간격 |
|---|---|
| 화면 공유 / Loom / 데모 | 5초당 1프레임 (UI 변경 빠름) |
| 토크쇼 / 팟캐스트 | 30초당 1프레임 (느린 변경) |
| 슬라이드 프레젠테이션 | 10초당 1프레임 + 감지된 각 장면 변경 시 강제 프레임 1개 |
| 확실하지 않은 경우 기본값 | 15초당 1프레임 |
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y
장면 변경 감지(특히 슬라이드 데크):
ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"
Vision 패스
각 프레임을 동일한 타임스탬프 창의 트랜스크립트 청크와 쌍으로 만듭니다. 그런 다음 Claude vision에 일괄 전송하여 합성합니다.
프레임별 일괄 프롬프트(호출당 최대 ~10프레임):
다음은 타임스탬프 T1..TN에서 가져온 동영상의 N개 프레임입니다. 각 프레임에 대해 화면에 표시된 내용을 1-2문장으로 설명하세요. 플래그: (a) 이전 프레임과의 UI 변경 사항, (b) 화면에 보이는 텍스트, (c) 결정, 작업 또는 주목할 만한 이벤트로 보이는 순간. 또한 이 창에서 말한 트랜스크립트 텍스트도 기록하세요.
출력을 <workdir>/moments.md에 저장:
# 주요 순간 — <title>
## 00:00:15 (frame-001.png)
**화면**: 로그인 양식, 이메일 필드에 포커스됨
**트랜스크립트**: "그래서 그냥 열면..."
**참고**: UI 데모 시작
## 00:00:45 (frame-002.png)
**화면**: 4개의 카드가 있는 대시보드
**트랜스크립트**: "그리고 여기서 모든 프로젝트를 볼 수 있습니다."
**참고**: 주요 보기 변경 — 대시보드가 처음 나타남
요약 생성
순간들이 식별된 후, 전체 동영상을 <workdir>/summary.md로 합성:
# 요약 — <title>
**소스:** <source URL / file>
**길이:** <hh:mm:ss>
**시청 시간:** <date>
**모드:** visual
## TL;DR
<2–4 문장>
## 주요 순간
- 00:00:15 — <한 줄>
- 00:00:45 — <한 줄>
## 플래그된 작업 항목
- <항목> [타임스탬프]
## 플래그된 결정
- <결정> [타임스탬프] — /decide로 라우팅 고려
## 저장할 가치가 있는 인용문
- "..." [타임스탬프]
## 미해결 질문
- <제기되었지만 답변되지 않은 질문>
8단계 — multimodal 모드인 경우
백엔드 선택
-
Gemini 네이티브(
$GEMINI_API_KEY가 설정된 경우; 긴 동영상의 경우 프레임별보다 훨씬 저렴하고 빠름):기본 모델:
gemini-3.5-flash(2026년 5월 출시, 입력 100만 토큰당 ~$1.50 / 출력 $9; 동영상 초당 ~$0.15; 3.1 Pro를 코딩/에이전트 벤치마크에서 4배 속도로 능가). 브랜드 감사/세부 사항이 중요한 고위험 분석의 경우gemini-3.1-pro로 재정의; 대량 저렴한 처리를 위해gemini-2.5-flash-lite사용.# 1단계: Files API를 통해 동영상 업로드 FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \ -H "X-Goog-Upload-Command: start, upload, finalize" \ -H "Content-Type: video/mp4" \ --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri') # 파일이 ACTIVE 상태가 될 때까지 대기 (Gemini가 먼저 동영상을 처리함) while true; do STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state') [ "$STATE" = "ACTIVE" ] && break sleep 3 done # 2단계: 파일 + 멀티모달 분석 프롬프트로 콘텐츠 생성 curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \ -H "Content-Type: application/json" \ -d "{ \"contents\":[{ \"parts\":[ {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}}, {\"text\":\"<멀티모달 분석 프롬프트 — 7단계의 요약 템플릿 + 사용 사례 확장 참조>\"} ] }] }"파일은 Gemini Files API에 약 48시간 동안 유지됩니다. 동일한 동영상을 다른 프롬프트로 다시 쿼리하는 데 유용합니다.
-
고밀도 Claude vision 대체(Gemini 키가 없는 경우):
- 프레임 간격: 3초당 1프레임(visual 모드보다 훨씬 조밀함)
- 멀티모달 분석 프롬프트로 Claude vision을 통해 일괄 처리
- 긴 동영상의 경우 Gemini보다 느리고 비쌉니다. 10분 이상 콘텐츠를 실행하기 전에 사용자에게 경고합니다.
멀티모달 출력
7단계와 동일한 summary.md 템플릿 + 확장 섹션:
## 멀티모달 관찰
- **바디 랭귀지 / 전달**: <토크쇼 동영상 관찰>
- **페이싱**: <빠름/느림/불균일>
- **시각적 스타일**: <브랜드 감사, 광고 리뷰, 디자인 관찰>
- **오디오 품질 / 분위기**: <음악, 침묵, 배경>
정확한 추가 섹션은 사용 사례(브랜드 감사, 광고 리뷰, 강연 전달 리뷰, 고객 통화 분석)에 따라 다릅니다. 사용 사례는 소스와 호출 시 사용자의 구두 프레이밍에서 유추됩니다.
9단계 — 선택 사항: 두 번째 브레인에 캡처
모든 모드 완료 후, 다음을 제안:
"이 내용을 두 번째 브레인에 캡처할까요? 요약, 소스 URL 및 트랜스크립트 링크와 함께
${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/에call-<slug>.md(또는meeting-/note-/resource-)를 작성하겠습니다."
소스별 유형 접두사:
| 소스 | 접두사 |
|---|---|
| Loom / Zoom / Riverside / Otter / 통화 녹음 | call- |
| 회의 (자체 메모, 트랜스크립트 아님) | meeting- |
| 강연 / 기조연설 / 컨퍼런스 | note- |
| 광고 / 랜딩 페이지 동영상 / 마케팅 참고 자료 / 경쟁사 동영상 | resource- |
파일 본문: 1줄 소스, 요약, 전체 작업 디렉토리 링크.
10단계 — 보고
채팅에서:
- 한 줄 헤드라인:
<source> · <title> · <duration> · <mode> · <word count> 단어 - 작업 디렉토리 경로
visual/multimodal의 경우: 상위 3개 주요 순간의 간략한 목록- 모든 모드의 경우: 분류를 위해 플래그된 작업 항목/결정
- 두 번째 브레인에 캡처된 경우: 해당 경로도 함께
소스 참조
| 소스 | 다운로드 | 내장 트랜스크립트 | 참고 |
|---|---|---|---|
| YouTube | yt-dlp | 자동 자막 (--write-auto-sub) | 이전 youtube-transcript 스킬과 동일 |
| Loom | yt-dlp (Loom 지원됨) | 예 — 임베드 메타데이터 또는 Loom API를 통해 가져오기 | 비동기 화면 공유에 중점 — 주요 사용 사례 |
| Vimeo | yt-dlp | 때때로 있음 | 마케팅/임베드 동영상 |
| Riverside | 내보내기의 직접 URL 또는 로컬 파일 | 예 — Riverside가 생성함 | 팟캐스트 에피소드 |
| Zoom | 로컬 .mp4 (다운로드된 녹화본) | 때때로 있음 (Zoom 오디오 트랜스크립트 파일) | 고객 통화 |
| X / IG / TikTok | 메타데이터는 social-fetch, 파일은 yt-dlp에 위임 | 없음 | 짧은 형식 |
| 로컬 파일 | 해당 없음 | 해당 없음 | 경로 입력 |
연동 스킬
social-fetch— 동영상 처리 전 X/IG/TikTok URL 메타데이터(참여도, 작성자, 댓글) 가져오기second-brain— 소스 유형에 따라 요약을raw/call-<slug>.md,meeting-,note-또는resource-로 캡처decide— 동영상에 플래그된 결정이 포함된 경우 구조화된 캡처를 위해/decide로 라우팅pm— 요약에서 플래그된 작업 항목을 프로젝트 보드로 분류 가능slide-deck— 강연 녹화본 → 개요 추출 → 데크 초안 (루프)jab-hook— 팟캐스트/강연 동영상의 인용문 + 클립 가치 있는 순간이 BIP/프로모션 게시물에 공급skillify from-video— 프로세스 녹화본에 대한visual모드의 주요 사용 사례. 사용자가 워크플로우를 기록(Loom/화면 공유)하면, 이 스킬이 트랜스크립트 + 주요 시각적 순간을 추출한 다음skillify가 워크플로우를 SKILL.md로 합성합니다. "한 번 녹화하면 AI가 스킬로 변환합니다."
오류 처리
| 실패 | 응답 |
|---|---|
| 동영상을 사용할 수 없음 / 비공개 / 지역 제한 | 보고 및 중단 |
| 자막 없음 + Whisper 설치되지 않음 | 사용자에게 알림: pip install mlx-whisper (Mac) |
| ffmpeg 누락 (visual/multimodal용) | 사용자에게 알림: brew install ffmpeg |
| Vision 패스가 비어 있거나 불명확함 | 프레임 수 줄이기, 재시도 또는 참고와 함께 트랜스크립트 전용으로 대체 |
Multimodal이 요청되었지만 $GEMINI_API_KEY가 없고 30분 초과 동영상 | 비용 경고, visual 모드로 대체 제안 |
yt-dlp 바이너리 누락 | brew install yt-dlp |
품질 관련 참고 사항
- 사용자가 깊이를 선택하며, 스킬이 선택하지 않습니다. Transcript / visual / multimodal은 세 가지 비용 + 지연 시간 프로필입니다. 긴 동영상(>10분)은 visual/multimodal에 지출하기 전에 항상 확인합니다.
- 플랫폼 트랜스크립트 우선, Whisper는 그 다음. YouTube 자동 자막, Loom 트랜스크립트, Riverside 내장 트랜스크립트 — 모두 무료이며 존재할 때 즉시 제공됩니다. 플랫폼 제공 기능이 작동하지 않는 경우에만 로컬 MLX-Whisper로 대체합니다.
- MLX-Whisper 로컬은 Mac에서 빠른 경로입니다. M-시리즈 머신은 실시간보다 빠르게 트랜스크립션합니다. 클라우드 Whisper는 두 번째 선택입니다. 비용이 들고 네트워크 종속성이며 일반적인 길이에서 지연 시간이 더 깁니다.
- 소스 유형별 프레임 간격. 화면 공유/데모는 5초당 1프레임이 필요합니다(UI 변경 빠름). 토크쇼 팟캐스트는 30초당 1프레임이 필요합니다(느린 변경). 확실하지 않으면 기본값 15초. 잘못된 간격 = 주요 순간 누락 또는 vision 패스 비용 낭비.
- 720p면 충분합니다. 트랜스크립션 + 프레임 분석을 위해 1080p/4K를 다운로드하면 대역폭과 저장 공간이 낭비됩니다.
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]"가 기본값입니다. - 장면 변경 감지는 슬라이드 전환을 포착합니다. 동영상이 슬라이드 프레젠테이션인 경우
ffmpeg -vf "select='gt(scene,0.3)'"을 추가하여 감지된 각 슬라이드 변경 시 강제로 프레임을 추출합니다. 순수 시간 기반 샘플링보다 더 안정적입니다. - 멀티모달 비용 경고는 선택 사항이 아닙니다. 60분 동영상에 대한 Gemini 멀티모달은 상당히 비쌉니다. 실행 전에 경고하고 사용자가 확실하지 않은 경우 transcript 전용을 대체 옵션으로 제공합니다.
- 요약 형식에는 라우팅 힌트가 포함됩니다.
## 결정 플래그됨+## 작업 항목 플래그됨섹션은/decide및/pm후속 작업을 신호합니다. 다운스트림 구성 가능성은 요약 구조에 있습니다.