Communitygithub.com

coreyhaines31/makerskills

あらゆる動画(YouTube、Loom、Vimeo、Riverside、Zoom録画、ローカルMP4、X/IG動画、yt-dlp対応フォーマット)から内容を抽出します。3つの深度モード(文字起こし、ビジュアル、マルチモーダル)をユーザーが選択可能。

makerskills とは?

このスキルは、YouTube、Loom、Vimeo、Riverside、Zoom録画、ローカルファイルなど、あらゆる動画ソースに対応した高度な文字起こし・分析ツールです。ユーザーは呼び出す際に3つの深度モードから選択できます。「transcript」モードは高速・無料で文字起こしのみ行い、「visual」モードは文字起こしに加えてffmpegでフレーム抽出し、Claude Visionで重要な瞬間を分析します。「multimodal」モードは、Gemini APIキーが設定されていればGeminiのネイティブ動画入力を利用し、そうでなければ高密度なClaude Visionフレーム分析で動画全体を深く理解します。MacではMLX-Whisperによるローカル高速文字起こしを標準とし、LoomやRiverside、YouTubeの自動字幕が利用可能な場合はそちらを優先します。結果は~/Documents/videos/配下に整理して保存され、必要に応じてセカンドブレイン(SecondBrain)に要約をキャプチャすることも可能です。このスキルは以前のyoutube-transcriptスキルを完全に置き換え、拡張するものです。

対応✓Claude Code~Codex CLI~Cursor✓Antigravity✓Gemini CLI
npx skills add https://github.com/coreyhaines31/makerskills/tree/HEAD/skills/watch-video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

/watch-video — 選択した深度で任意の動画を文字起こし・分析する

以前の youtube-transcript スキルを置き換え、拡張します。YouTubeは数あるソースの1つになり、深度はユーザーが制御します。

ステップ1 — 入力を解析する

受け付ける形式:

  • YouTube: 完全URL、youtu.be/<id>、youtube.com/shorts/<id>、生の11文字ID
  • Loom: loom.com/share/<id> または loom.com/embed/<id>
  • Vimeo: vimeo.com/<id>
  • Riverside: ダウンロードURLまたはローカルファイル
  • Zoom: ダウンロードした録画のローカル .mp4
  • X / IG / TikTok 動画: URL — メタデータは social-fetch に委譲、ファイルは yt-dlp を使用
  • ローカルファイル: .mp4 / .mov / .webm / .mkv の任意のパス

URLパターンまたはファイル拡張子からソースを検出します。曖昧な場合はユーザーに確認します。

ステップ2 — 深度モードを解析する

呼び出し方モード得られるもの
/watch-video <url>transcript (デフォルト)クリーンなテキスト、メタデータ、オプションのチャプター
/watch-video <url> transcripttranscriptデフォルトと同じ
/watch-video <url> visualvisual文字起こし + 一定間隔のフレーム + Claude Visionによる重要瞬間の特定
/watch-video <url> multimodalmultimodalGeminiへのネイティブ動画入力 ($GEMINI_API_KEY が設定されている場合)、そうでなければClaude Visionによる高密度フレーム分析

深度が指定されておらず、動画が10分より長い場合は、デフォルトにする前に確認します (visual/multimodalは長い動画で実際にコストがかかります)。

ステップ3 — メタデータを取得する

URLソースの場合は yt-dlp を使用:

yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
  --print "%(chapters)j" --skip-download "<url>"

取得するもの: タイトル、アップローダー/チャンネル、再生時間、アップロード日、説明 (最初の段落)、チャプター (JSONまたはnull)。

ローカルファイルの場合は ffprobe を使用:

ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"

ステップ4 — 作業ディレクトリを作成する

~/Documents/videos/<source>-<slug>-<date>/

ここで:

  • source: youtube / loom / vimeo / riverside / zoom / local
  • slug: タイトルのケバブケース (最初の4~6単語、最大50文字)
  • date: YYYY-MM-DD

ステップ5 — 文字起こしを取得する

バックエンド選択 (優先順):

  1. プラットフォーム提供の文字起こし (存在し、完全に見える場合):

    • YouTube: yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt
    • Loom: https://www.loom.com/share/<id> ページのメタデータ、または $LOOM_API_KEY が設定されている場合はLoom API経由で取得
    • Riverside: 録音の共有ページにある組み込み文字起こし
    • プラットフォームの文字起こしが存在し、タイムスタンプがあればそれを使用。Whisperはスキップ。
  2. MLX-Whisper ローカル (デフォルトのフォールバック — Mac Mシリーズで高速):

    # 一度インストール: pip install mlx-whisper
    python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \
      > "<workdir>/transcript-raw.json"
    

    またはCLI経由: mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir>

  3. whisper.cpp (MLXが利用できない場合のさらなるフォールバック)

URLの場合は最初に動画ファイルをダウンロードします (yt-dlpを使用。Loom/Vimeo/YTすべて対応):

yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"

720pは文字起こしとフレーム分析に十分です (ダウンロードが小さく、処理が速い)。

文字起こしをクリーニングする (YouTubeの自動字幕にのみ必要。これらはスクロールするキャプションであり、Whisperの出力は既にクリーンです):

# YouTube VTT のクリーニング — スクロールキャプションの重複除去、タグ除去、キュー間隔 >2s で段落区切り
awk '
  /^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
  /-->/ { in_cue = 1; last = ""; next }
  /^$/ { if (last) print last; in_cue = 0; last = ""; next }
  in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
  END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"

最終結果を <workdir>/transcript.txt に保存します。

ステップ6 — transcript モードの場合: ここで終了

出力:

  • transcript.txt
  • metadata.json
  • チャットでの1行要約: タイトル、ソース、再生時間、単語数
  • 作業ディレクトリへのパス
  • (オプション) ステップ9 — セカンドブレインへのキャプチャを提案

ステップ7 — visual モードの場合: フレーム抽出 + ビジョンパス

フレーム抽出 (ffmpeg)

ソースのヒューリスティックによる間隔:

ソースタイプフレーム間隔
画面共有 / Loom / デモ5秒ごとに1フレーム (UIの変化が速い)
トーキングヘッド / ポッドキャスト30秒ごとに1フレーム (変化が遅い)
スライドプレゼンテーション10秒ごとに1フレーム + 検出された各シーンチェンジでフレームを強制
デフォルト (不明な場合)15秒ごとに1フレーム
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y

シーンチェンジ検出 (特にスライドデッキ):

ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"

ビジョンパス

各フレームを同じタイムスタンプウィンドウの文字起こしチャンクとペアにします。次に、合成のためにClaude Visionにバッチ送信します。

フレームごとのバッチプロンプト (1回の呼び出しで最大約10フレーム):

ここにタイムスタンプT1..TNの動画からのN枚のフレームがあります。各フレームについて、画面上に何があるかを1~2文で説明してください。フラグ: (a) 前のフレームからのUIの変化、(b) 画面上に見えるテキスト、(c) 決定、アクション、または注目すべきイベントのように見える瞬間。また、このウィンドウ中に発話された文字起こしテキストにも注意してください。

出力を <workdir>/moments.md として保存:

# 重要な瞬間 — <title>

## 00:00:15 (frame-001.png)
**画面**: ログインフォーム、メールフィールドにフォーカス
**文字起こし**: 「それでは開いてみると...」
**備考**: UIデモの開始

## 00:00:45 (frame-002.png)
**画面**: 4つのカードを持つダッシュボード
**文字起こし**: 「ここで全てのプロジェクトが表示されます。」
**備考**: 主要なビュー変更 — ダッシュボードが初めて表示される

要約を生成する

瞬間が特定された後、動画全体を総合して <workdir>/summary.md を作成:

# 要約 — <title>

**ソース:** <source URL / file>
**再生時間:** <hh:mm:ss>
**視聴日:** <date>
**モード:** visual

## 概要
<2~4文>

## 重要な瞬間
- 00:00:15 — <1行>
- 00:00:45 — <1行>

## フラグされたアクションアイテム
- <アイテム> [タイムスタンプ]

## フラグされた決定
- <決定> [タイムスタンプ] — /decide へのルーティングを検討

## 保存する価値のある引用
- "..." [タイムスタンプ]

## 未解決の質問
- <提起されたが回答されていない質問>

ステップ8 — multimodal モードの場合

バックエンド選択

  1. Gemini ネイティブ $GEMINI_API_KEY が設定されている場合 (長い動画ではフレームごとよりはるかに安く、高速):

    デフォルトモデル: gemini-3.5-flash (2026年5月リリース、入力約$1.50 / 出力$9 per 100万トークン; 動画1秒あたり約$0.15; コーディング/エージェントベンチマークで3.1 Proを打ち負かし、4倍の速度)。詳細が重要なブランド監査/高リスク分析の場合は gemini-3.1-pro にオーバーライド; 大量の安価な処理には gemini-2.5-flash-lite。

    # ステップ1: Files API経由で動画をアップロード
    FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \
      -H "X-Goog-Upload-Command: start, upload, finalize" \
      -H "Content-Type: video/mp4" \
      --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri')
    
    # ファイルがACTIVEになるまで待機 (Geminiが最初に動画を処理する)
    while true; do
      STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state')
      [ "$STATE" = "ACTIVE" ] && break
      sleep 3
    done
    
    # ステップ2: ファイル + マルチモーダル分析プロンプトでコンテンツを生成
    curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \
      -H "Content-Type: application/json" \
      -d "{
        \"contents\":[{
          \"parts\":[
            {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}},
            {\"text\":\"<マルチモーダル分析プロンプト — ステップ7の要約テンプレート + ユースケース拡張を参照>\"}
          ]
        }]
      }"
    

    ファイルはGemini Files APIに約48時間保持されます — 同じ動画に対して異なるプロンプトで再クエリするのに便利です。

  2. 高密度Claude Visionフォールバック Geminiキーがない場合:

    • フレーム間隔: 3秒ごとに1フレーム (visualモードよりはるかに高密度)
    • マルチモーダル分析プロンプトでClaude Visionを通じてバッチ処理
    • 長い動画ではGeminiより遅く、高価 — 10分以上のコンテンツで実行する前にユーザーに警告

マルチモーダル出力

ステップ7と同じ summary.md テンプレート + 拡張セクション:

## マルチモーダル観察
- **ボディランゲージ / 話し方**: <トーキングヘッド動画の観察>
- **ペーシング**: <速い/遅い/不揃い>
- **ビジュアルスタイル**: <ブランド監査、広告レビュー、デザイン観察>
- **オーディオ品質 / 雰囲気**: <音楽、無音、背景音>

正確な追加セクションはユースケース (ブランド監査、広告レビュー、トーク配信レビュー、クライアントコール読み取り) に依存します。ユースケースはソースと呼び出し時のユーザーの口頭でのフレーミングから推測されます。

ステップ9 — オプション: セカンドブレインにキャプチャ

どのモードが完了した後でも、以下のように提案:

"これをセカンドブレインにキャプチャしますか?要約、ソースURL、文字起こしリンクを含む call-<slug>.md (または meeting- / note- / resource-) を ${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/ に書き込みます。"

ソースによるタイププレフィックス:

ソースプレフィックス
Loom / Zoom / Riverside / Otter / 通話録音call-
ミーティング (自分のメモ、文字起こしではない)meeting-
トーク / 基調講演 / カンファレンスnote-
広告 / ランディングページ動画 / マーケティング参考資料 / 競合動画resource-

ファイル本文: 1行のソース、要約、完全な作業ディレクトリへのリンク。

ステップ10 — 報告

チャット内:

  • 1行見出し: <source> · <title> · <duration> · <mode> · <word count> 単語
  • 作業ディレクトリパス
  • visual / multimodal の場合: 上位3つの重要な瞬間の簡単なリスト
  • 全てのモード: トリアージのためにフラグされたアクションアイテム/決定
  • セカンドブレインにキャプチャした場合: そのパスも

ソースリファレンス

ソースダウンロード組み込み文字起こし備考
YouTubeyt-dlp自動字幕 (--write-auto-sub)以前の youtube-transcript スキルと同じ
Loomyt-dlp (Loom対応)あり — 埋め込みメタデータまたはLoom API経由で取得非同期画面共有に最適 — 主なユースケース
Vimeoyt-dlp場合によるマーケティング/埋め込み動画
Riversideエクスポートからの直接URL、またはローカルファイルあり — Riversideが生成ポッドキャストエピソード
Zoomローカル .mp4 (ダウンロードした録画)場合による (Zoom音声文字起こしファイル)クライアントコール
X / IG / TikTokメタデータは social-fetch、ファイルは yt-dlp に委譲なし短尺動画
ローカルファイルn/an/aパスを指定

連携するスキル

  • social-fetch — 動画処理前のX/IG/TikTok URLメタデータ (エンゲージメント、投稿者、返信) 用
  • second-brain — 要約をソースタイプに応じて raw/call-<slug>.md、meeting-、note-、resource- としてキャプチャ
  • decide — 動画にフラグされた決定が含まれている場合、構造化キャプチャのために /decide にルーティング
  • pm — 要約でフラグされたアクションアイテムをプロジェクトボードにトリアージ可能
  • slide-deck — トーク録画 → アウトライン抽出 → デッキ下書き (ループ)
  • jab-hook — ポッドキャスト/トーク動画からの引用 + クリップに値する瞬間がBIP/プロモ投稿を生成
  • skillify from-video — プロセス録画での visual モードの主なユースケース。ユーザーが自分のワークフローを実行している様子を録画 (Loom/画面共有) し、このスキルが文字起こし + 重要なビジュアル瞬間を抽出し、skillify がワークフローをSKILL.mdに合成します。「一度録画すれば、AIがスキルに変換」

エラーハンドリング

障害対応
動画が利用不可 / 非公開 / 地域制限あり報告して停止
字幕なし + Whisper未インストールユーザーに伝える: pip install mlx-whisper (Mac)
ffmpegが見つからない (visual/multimodalの場合)ユーザーに伝える: brew install ffmpeg
ビジョンパスが空または不明瞭を返すフレーム数を減らして再試行、または注意書き付きで文字起こしのみにフォールバック
multimodalが要求されたが $GEMINI_API_KEY がなく、30分以上の動画コストを警告し、visualモードへのフォールバックを提案
yt-dlp バイナリが見つからないbrew install yt-dlp

品質に関する注意事項

  • ユーザーが深度を選び、スキルは選ばない。 Transcript / visual / multimodal は3つの異なるコスト + レイテンシプロファイルです。長い動画 (>10分) では、visual/multimodalにコストを費やす前に常に確認します。
  • プラットフォームの文字起こしを優先し、Whisperは次。 YouTubeの自動字幕、Loomの文字起こし、Riversideの組み込み文字起こし — 存在すれば全て無料かつ即時。プラットフォーム提供のものが機能しない場合にのみ、MLX-Whisperローカルにフォールバックします。
  • MLX-WhisperローカルはMacでの高速パス。 Mシリーズマシンはリアルタイムより速く文字起こしします。クラウドWhisperは遠く離れた第2の選択肢 — コストがかかり、ネットワーク依存があり、一般的な長さではレイテンシが悪化します。
  • ソースタイプによるフレーム間隔。 画面共有/デモは5秒ごとに1フレーム必要 (UIの変化が速い)。トーキングヘッドポッドキャストは30秒ごとに1フレーム必要 (変化が遅い)。不明な場合はデフォルト15秒。間隔が間違っていると、重要な瞬間を見逃すか、ビジョンパスのコストを無駄にします。
  • 720pで十分。 文字起こし + フレーム分析のために1080p/4Kをダウンロードすると、帯域幅とストレージを無駄にします。yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" がデフォルトです。
  • シーンチェンジ検出でスライドトランジションをキャッチ。 動画がスライドプレゼンテーションの場合、ffmpeg -vf "select='gt(scene,0.3)'" を追加して検出された各スライド変更でフレームを強制 — 純粋な時間ベースのサンプリングより信頼性が高い。
  • マルチモーダルコスト警告は必須。 60分の動画に対するGeminiマルチモーダルは、著しく高価です。実行前に警告し、ユーザーが確信がない場合は文字起こしのみをフォールバックとして提供します。
  • 要約形式にはルーティングヒントが含まれます。 ## フラグされた決定 + ## フラグされたアクションアイテム セクションは、/decide と /pm のフォローアップを示します。下流の合成可能性は要約構造にあります。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

関連スキル