/watch-video — 選択した深度で任意の動画を文字起こし・分析する
以前の youtube-transcript スキルを置き換え、拡張します。YouTubeは数あるソースの1つになり、深度はユーザーが制御します。
ステップ1 — 入力を解析する
受け付ける形式:
- YouTube: 完全URL、
youtu.be/<id>、youtube.com/shorts/<id>、生の11文字ID - Loom:
loom.com/share/<id>またはloom.com/embed/<id> - Vimeo:
vimeo.com/<id> - Riverside: ダウンロードURLまたはローカルファイル
- Zoom: ダウンロードした録画のローカル
.mp4 - X / IG / TikTok 動画: URL — メタデータは
social-fetchに委譲、ファイルは yt-dlp を使用 - ローカルファイル:
.mp4/.mov/.webm/.mkvの任意のパス
URLパターンまたはファイル拡張子からソースを検出します。曖昧な場合はユーザーに確認します。
ステップ2 — 深度モードを解析する
| 呼び出し方 | モード | 得られるもの |
|---|---|---|
/watch-video <url> | transcript (デフォルト) | クリーンなテキスト、メタデータ、オプションのチャプター |
/watch-video <url> transcript | transcript | デフォルトと同じ |
/watch-video <url> visual | visual | 文字起こし + 一定間隔のフレーム + Claude Visionによる重要瞬間の特定 |
/watch-video <url> multimodal | multimodal | Geminiへのネイティブ動画入力 ($GEMINI_API_KEY が設定されている場合)、そうでなければClaude Visionによる高密度フレーム分析 |
深度が指定されておらず、動画が10分より長い場合は、デフォルトにする前に確認します (visual/multimodalは長い動画で実際にコストがかかります)。
ステップ3 — メタデータを取得する
URLソースの場合は yt-dlp を使用:
yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
--print "%(chapters)j" --skip-download "<url>"
取得するもの: タイトル、アップローダー/チャンネル、再生時間、アップロード日、説明 (最初の段落)、チャプター (JSONまたはnull)。
ローカルファイルの場合は ffprobe を使用:
ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"
ステップ4 — 作業ディレクトリを作成する
~/Documents/videos/<source>-<slug>-<date>/
ここで:
source:youtube/loom/vimeo/riverside/zoom/localslug: タイトルのケバブケース (最初の4~6単語、最大50文字)date:YYYY-MM-DD
ステップ5 — 文字起こしを取得する
バックエンド選択 (優先順):
-
プラットフォーム提供の文字起こし (存在し、完全に見える場合):
- YouTube:
yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt - Loom:
https://www.loom.com/share/<id>ページのメタデータ、または$LOOM_API_KEYが設定されている場合はLoom API経由で取得 - Riverside: 録音の共有ページにある組み込み文字起こし
- プラットフォームの文字起こしが存在し、タイムスタンプがあればそれを使用。Whisperはスキップ。
- YouTube:
-
MLX-Whisper ローカル (デフォルトのフォールバック — Mac Mシリーズで高速):
# 一度インストール: pip install mlx-whisper python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \ > "<workdir>/transcript-raw.json"またはCLI経由:
mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir> -
whisper.cpp (MLXが利用できない場合のさらなるフォールバック)
URLの場合は最初に動画ファイルをダウンロードします (yt-dlpを使用。Loom/Vimeo/YTすべて対応):
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"
720pは文字起こしとフレーム分析に十分です (ダウンロードが小さく、処理が速い)。
文字起こしをクリーニングする (YouTubeの自動字幕にのみ必要。これらはスクロールするキャプションであり、Whisperの出力は既にクリーンです):
# YouTube VTT のクリーニング — スクロールキャプションの重複除去、タグ除去、キュー間隔 >2s で段落区切り
awk '
/^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
/-->/ { in_cue = 1; last = ""; next }
/^$/ { if (last) print last; in_cue = 0; last = ""; next }
in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"
最終結果を <workdir>/transcript.txt に保存します。
ステップ6 — transcript モードの場合: ここで終了
出力:
transcript.txtmetadata.json- チャットでの1行要約: タイトル、ソース、再生時間、単語数
- 作業ディレクトリへのパス
- (オプション) ステップ9 — セカンドブレインへのキャプチャを提案
ステップ7 — visual モードの場合: フレーム抽出 + ビジョンパス
フレーム抽出 (ffmpeg)
ソースのヒューリスティックによる間隔:
| ソースタイプ | フレーム間隔 |
|---|---|
| 画面共有 / Loom / デモ | 5秒ごとに1フレーム (UIの変化が速い) |
| トーキングヘッド / ポッドキャスト | 30秒ごとに1フレーム (変化が遅い) |
| スライドプレゼンテーション | 10秒ごとに1フレーム + 検出された各シーンチェンジでフレームを強制 |
| デフォルト (不明な場合) | 15秒ごとに1フレーム |
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y
シーンチェンジ検出 (特にスライドデッキ):
ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"
ビジョンパス
各フレームを同じタイムスタンプウィンドウの文字起こしチャンクとペアにします。次に、合成のためにClaude Visionにバッチ送信します。
フレームごとのバッチプロンプト (1回の呼び出しで最大約10フレーム):
ここにタイムスタンプT1..TNの動画からのN枚のフレームがあります。各フレームについて、画面上に何があるかを1~2文で説明してください。フラグ: (a) 前のフレームからのUIの変化、(b) 画面上に見えるテキスト、(c) 決定、アクション、または注目すべきイベントのように見える瞬間。また、このウィンドウ中に発話された文字起こしテキストにも注意してください。
出力を <workdir>/moments.md として保存:
# 重要な瞬間 — <title>
## 00:00:15 (frame-001.png)
**画面**: ログインフォーム、メールフィールドにフォーカス
**文字起こし**: 「それでは開いてみると...」
**備考**: UIデモの開始
## 00:00:45 (frame-002.png)
**画面**: 4つのカードを持つダッシュボード
**文字起こし**: 「ここで全てのプロジェクトが表示されます。」
**備考**: 主要なビュー変更 — ダッシュボードが初めて表示される
要約を生成する
瞬間が特定された後、動画全体を総合して <workdir>/summary.md を作成:
# 要約 — <title>
**ソース:** <source URL / file>
**再生時間:** <hh:mm:ss>
**視聴日:** <date>
**モード:** visual
## 概要
<2~4文>
## 重要な瞬間
- 00:00:15 — <1行>
- 00:00:45 — <1行>
## フラグされたアクションアイテム
- <アイテム> [タイムスタンプ]
## フラグされた決定
- <決定> [タイムスタンプ] — /decide へのルーティングを検討
## 保存する価値のある引用
- "..." [タイムスタンプ]
## 未解決の質問
- <提起されたが回答されていない質問>
ステップ8 — multimodal モードの場合
バックエンド選択
-
Gemini ネイティブ
$GEMINI_API_KEYが設定されている場合 (長い動画ではフレームごとよりはるかに安く、高速):デフォルトモデル:
gemini-3.5-flash(2026年5月リリース、入力約$1.50 / 出力$9 per 100万トークン; 動画1秒あたり約$0.15; コーディング/エージェントベンチマークで3.1 Proを打ち負かし、4倍の速度)。詳細が重要なブランド監査/高リスク分析の場合はgemini-3.1-proにオーバーライド; 大量の安価な処理にはgemini-2.5-flash-lite。# ステップ1: Files API経由で動画をアップロード FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \ -H "X-Goog-Upload-Command: start, upload, finalize" \ -H "Content-Type: video/mp4" \ --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri') # ファイルがACTIVEになるまで待機 (Geminiが最初に動画を処理する) while true; do STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state') [ "$STATE" = "ACTIVE" ] && break sleep 3 done # ステップ2: ファイル + マルチモーダル分析プロンプトでコンテンツを生成 curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \ -H "Content-Type: application/json" \ -d "{ \"contents\":[{ \"parts\":[ {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}}, {\"text\":\"<マルチモーダル分析プロンプト — ステップ7の要約テンプレート + ユースケース拡張を参照>\"} ] }] }"ファイルはGemini Files APIに約48時間保持されます — 同じ動画に対して異なるプロンプトで再クエリするのに便利です。
-
高密度Claude Visionフォールバック Geminiキーがない場合:
- フレーム間隔: 3秒ごとに1フレーム (visualモードよりはるかに高密度)
- マルチモーダル分析プロンプトでClaude Visionを通じてバッチ処理
- 長い動画ではGeminiより遅く、高価 — 10分以上のコンテンツで実行する前にユーザーに警告
マルチモーダル出力
ステップ7と同じ summary.md テンプレート + 拡張セクション:
## マルチモーダル観察
- **ボディランゲージ / 話し方**: <トーキングヘッド動画の観察>
- **ペーシング**: <速い/遅い/不揃い>
- **ビジュアルスタイル**: <ブランド監査、広告レビュー、デザイン観察>
- **オーディオ品質 / 雰囲気**: <音楽、無音、背景音>
正確な追加セクションはユースケース (ブランド監査、広告レビュー、トーク配信レビュー、クライアントコール読み取り) に依存します。ユースケースはソースと呼び出し時のユーザーの口頭でのフレーミングから推測されます。
ステップ9 — オプション: セカンドブレインにキャプチャ
どのモードが完了した後でも、以下のように提案:
"これをセカンドブレインにキャプチャしますか?要約、ソースURL、文字起こしリンクを含む
call-<slug>.md(またはmeeting-/note-/resource-) を${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/に書き込みます。"
ソースによるタイププレフィックス:
| ソース | プレフィックス |
|---|---|
| Loom / Zoom / Riverside / Otter / 通話録音 | call- |
| ミーティング (自分のメモ、文字起こしではない) | meeting- |
| トーク / 基調講演 / カンファレンス | note- |
| 広告 / ランディングページ動画 / マーケティング参考資料 / 競合動画 | resource- |
ファイル本文: 1行のソース、要約、完全な作業ディレクトリへのリンク。
ステップ10 — 報告
チャット内:
- 1行見出し:
<source> · <title> · <duration> · <mode> · <word count> 単語 - 作業ディレクトリパス
visual/multimodalの場合: 上位3つの重要な瞬間の簡単なリスト- 全てのモード: トリアージのためにフラグされたアクションアイテム/決定
- セカンドブレインにキャプチャした場合: そのパスも
ソースリファレンス
| ソース | ダウンロード | 組み込み文字起こし | 備考 |
|---|---|---|---|
| YouTube | yt-dlp | 自動字幕 (--write-auto-sub) | 以前の youtube-transcript スキルと同じ |
| Loom | yt-dlp (Loom対応) | あり — 埋め込みメタデータまたはLoom API経由で取得 | 非同期画面共有に最適 — 主なユースケース |
| Vimeo | yt-dlp | 場合による | マーケティング/埋め込み動画 |
| Riverside | エクスポートからの直接URL、またはローカルファイル | あり — Riversideが生成 | ポッドキャストエピソード |
| Zoom | ローカル .mp4 (ダウンロードした録画) | 場合による (Zoom音声文字起こしファイル) | クライアントコール |
| X / IG / TikTok | メタデータは social-fetch、ファイルは yt-dlp に委譲 | なし | 短尺動画 |
| ローカルファイル | n/a | n/a | パスを指定 |
連携するスキル
social-fetch— 動画処理前のX/IG/TikTok URLメタデータ (エンゲージメント、投稿者、返信) 用second-brain— 要約をソースタイプに応じてraw/call-<slug>.md、meeting-、note-、resource-としてキャプチャdecide— 動画にフラグされた決定が含まれている場合、構造化キャプチャのために/decideにルーティングpm— 要約でフラグされたアクションアイテムをプロジェクトボードにトリアージ可能slide-deck— トーク録画 → アウトライン抽出 → デッキ下書き (ループ)jab-hook— ポッドキャスト/トーク動画からの引用 + クリップに値する瞬間がBIP/プロモ投稿を生成skillify from-video— プロセス録画でのvisualモードの主なユースケース。ユーザーが自分のワークフローを実行している様子を録画 (Loom/画面共有) し、このスキルが文字起こし + 重要なビジュアル瞬間を抽出し、skillifyがワークフローをSKILL.mdに合成します。「一度録画すれば、AIがスキルに変換」
エラーハンドリング
| 障害 | 対応 |
|---|---|
| 動画が利用不可 / 非公開 / 地域制限あり | 報告して停止 |
| 字幕なし + Whisper未インストール | ユーザーに伝える: pip install mlx-whisper (Mac) |
| ffmpegが見つからない (visual/multimodalの場合) | ユーザーに伝える: brew install ffmpeg |
| ビジョンパスが空または不明瞭を返す | フレーム数を減らして再試行、または注意書き付きで文字起こしのみにフォールバック |
multimodalが要求されたが $GEMINI_API_KEY がなく、30分以上の動画 | コストを警告し、visualモードへのフォールバックを提案 |
yt-dlp バイナリが見つからない | brew install yt-dlp |
品質に関する注意事項
- ユーザーが深度を選び、スキルは選ばない。 Transcript / visual / multimodal は3つの異なるコスト + レイテンシプロファイルです。長い動画 (>10分) では、visual/multimodalにコストを費やす前に常に確認します。
- プラットフォームの文字起こしを優先し、Whisperは次。 YouTubeの自動字幕、Loomの文字起こし、Riversideの組み込み文字起こし — 存在すれば全て無料かつ即時。プラットフォーム提供のものが機能しない場合にのみ、MLX-Whisperローカルにフォールバックします。
- MLX-WhisperローカルはMacでの高速パス。 Mシリーズマシンはリアルタイムより速く文字起こしします。クラウドWhisperは遠く離れた第2の選択肢 — コストがかかり、ネットワーク依存があり、一般的な長さではレイテンシが悪化します。
- ソースタイプによるフレーム間隔。 画面共有/デモは5秒ごとに1フレーム必要 (UIの変化が速い)。トーキングヘッドポッドキャストは30秒ごとに1フレーム必要 (変化が遅い)。不明な場合はデフォルト15秒。間隔が間違っていると、重要な瞬間を見逃すか、ビジョンパスのコストを無駄にします。
- 720pで十分。 文字起こし + フレーム分析のために1080p/4Kをダウンロードすると、帯域幅とストレージを無駄にします。
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]"がデフォルトです。 - シーンチェンジ検出でスライドトランジションをキャッチ。 動画がスライドプレゼンテーションの場合、
ffmpeg -vf "select='gt(scene,0.3)'"を追加して検出された各スライド変更でフレームを強制 — 純粋な時間ベースのサンプリングより信頼性が高い。 - マルチモーダルコスト警告は必須。 60分の動画に対するGeminiマルチモーダルは、著しく高価です。実行前に警告し、ユーザーが確信がない場合は文字起こしのみをフォールバックとして提供します。
- 要約形式にはルーティングヒントが含まれます。
## フラグされた決定+## フラグされたアクションアイテムセクションは、/decideと/pmのフォローアップを示します。下流の合成可能性は要約構造にあります。