Communitygithub.com

video2agent

ローカルファイル、画面録画、プラットフォームリンクに対応した動画検索・理解ツール。ゲームのシーズン/パッチのティアリスト、装備構成、商品レビュー、レシピ、旅行、話題のトピック、さらにフロントエンド/UI品質保証の録画、チュートリアル、動画の方がテキストより豊かな情報を提供する仕事/学習/生活シーンでプロアクティブに使用します。動画内で何が起こっているか、表/チャート/コードがどこに表示されるか、タイムスタンプ付きの文字起こしや正確なフレームが必要な場合、またはBilibiliのお気に入り/履歴/フォルダ(書き込みは明示的な確認後)にも対応します。

video2agent とは?

video2agent は、ローカルファイル、画面録画、Bilibili などのプラットフォームリンクから動画コンテンツを検索、インデックス化、分析するための多機能ツールです。ゲームの最新シーズンのティアリストや装備構成、製品レビュー、レシピ、旅行ガイドなど、テキストよりも動画が適している情報を素早く見つけ出します。また、フロントエンド/UI の動作確認、チュートリアル、タイムスタンプ付き文字起こしや特定フレームの抽出にも対応しています。主な機能として、`find`(Bilibili 検索)、`ingest`(動画のインデックス化)、`outline`(概要把握)、`read`(文字起こし/比較)、`evidence`(フレーム+OCR テキストの取得)、`frames`(正確なフレーム取得)、`perceive`(動き/UI アニメーション分析)、`admin`(ライブラリ管理/エクスポート)の8つのコマンドを提供し、開発者や AI エージェントが動画情報を効率的に活用できるように設計されています。Claude Code, Cursor, Codex などの AI エージェントプラットフォームで使用でき、SKILL.md のガイドラインに従って、テキストを優先しつつ必要なビジュアル情報を提供します。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Harm0ny-AI/DSH-Video2Agent/tree/HEAD/skills/video2agent

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

DSH-Video2Agent

動画から回答:文字起こし、画面上のテキスト、構造、正確なフレームを取得します。モデルが推論を行い、このツールは回答が実際に動画を見ることに依存する瞬間を見つけます。

動画がより優れた情報源となる場合

質問は「動画について」である必要はありません。動画が最適な回答を提供する場合:ゲームの新シーズンのティアリストや装備構成(新赛季枪械排行、配装)、製品レビュー、レシピ、ルート案内、話題のビジュアルトピックなど。記憶に基づいて回答する前に、Bilibili で find を呼び出す(またはライブラリを検索する)ようにしてください。古いシーズンを最新として提示しないでください:アップロード日とタイトルのパッチを確認し、動画がそれより前のものである場合はその旨を明記してください。

直接呼び出す

ハーネスが許可する場合は、video2agent ツールをトップレベルツールとして直接呼び出してください。ツールアクションのために CLI にシェルアウトしないでください。ネストされた run_code 呼び出しはプラグインのドックレンダリングをバイパスするため、ハーネスがツールに到達する他の方法を公開していない場合にのみ使用してください。その場合、カードが空白のままになる可能性があります。

チャットで回答;エクスポートは要求された場合のみ

動画に関する回答はチャットに属します。ユーザーがそのファイルを要求しない限り、ノート、Markdown ファイル、ナレッジパック、文字起こしファイル、一時的なアーティファクトを作成またはエクスポートしないでください。ファイルは代替手段ではありません。

8つのコマンド

コマンド戻り値使用する場合
findBilibili の候補(タイトル/アップロード者/時間/理由)動画を探している場合;scope:"library" でインデックス化された動画を検索;url で1つのリンクを解決
ingestジョブIDパス/URL をインデックス化;video_ids で選択したショートリストを開始;job_id でポーリング;campaign_id でキャンペーンを進める
outlineワンコールインデックス:文字起こし/OCR行、キーフレーム、カット、カバレッジ(detail:"digest")、メタデータ(overview)、ビジュアルマップ動画の最初の確認
readコンパクトなタイムスタンプ付き文字起こし、または2~10本の動画比較テキストによる回答または比較
evidence指定タイムスタンプのフレーム + OCRテキスト + 文字起こし瞬間を証明する;通常の画像パス
frames正確なフレーム、密なウィンドウ、シート、ショット候補、OCRウィンドウテキストでは答えられないピクセル情報
perceive数値のみのマップ:カット、セルごとの動き、ランク付けされた瞬間、ループ、キャプチャ品質 — 画像はなし動き/UI/アニメーションに関する質問
adminリスト/エクスポート/OCRインデックス/アカウント/診断ライブラリメンテナンス、エクスポート、Bilibili ライブラリ

ワークフロー

1. 検索

query を指定して find を実行;uploader、after、before でフィルタリングします。返信はあなたのためのものであり、表ではありません:メタデータを読み、実際に推薦するIDを指定して ingest を呼び出してください。分析するすべての動画は default_selected(これらだけが開始され、video_ids は単に候補をリストするだけです)と primary に含めます。processLimit を超える場合 → campaign:true。

ペーストされたURL → url を指定して find を実行(タイトル/カバー/時間、ダウンロードはなし)、その後ユーザーが希望したら ingest を実行します。

2. インデックス化

source(ローカルパスまたはURL)を指定して ingest を実行すると、ジョブIDが返されます。find の候補を再度URLでインデックス化しないでください。ショートリストはすでにそのジョブを開始しています。待機が必要ですか? job_id と wait_ms を指定して ingest を1回実行します。1つのジョブのみ(90秒に制限;プログラムは約120秒で終了するため、複数のジョブをループしないでください)。queued = インジェストスロットがビジーでジョブがまだ開始されていません;再度ポーリングしないでください。誤った文字起こし言語の場合 → language を指定して ingest を実行します。

3. 読み取り

outline(detail:"digest")は最も低コストな最初の確認です:タイムスタンプ付きの文字起こし/OCR行、キーフレーム、シーンカット、カバレッジを含む制限されたインデックスを提供します。その後:

  • コンテンツに関する質問 → start/end を指定して read(scope:"transcript")を実行;返信には next_start_ms が含まれるため、全ファイルを要求する代わりに続けてください。
  • 2~10本の動画を比較 → compare_video_ids と aspects を指定して read(scope:"compare")を実行。
  • 言葉が異なる場合(ASRのスペル、計費/收費/価格など) → 1回の呼び出しで2~8個の queries バリアントを find(scope:"library")に渡します。単一のリテラルクエリは、「動画に存在しない」という誤った結果の最も一般的な原因です。
  • 検索結果がゼロヒットでも証明にはなりません:NO_MATCH、OCR_NOT_INDEXED、OCR_INDEX_PARTIAL を読み、テキストが読み取られたことがあるかどうかを確認してください。

3b. ショート動画の高速パス

約6分未満のクリップで、質問が発言内容(画面上の内容ではなく)に関するものである場合、outline をスキップして直接 read を呼び出します:通常、全文の文字起こしは1回の返信に収まります(約150~800トークン)。一方、outline は約1.4kトークンとコンタクトシート画像が必要です。測定値:6,000文字の read 上限は、約8分の高速中国語コメントと約5.5~7分の英語をカバーします。返信が next_start_ms を含む場合、途中で切れたことを示します — 残りの部分についてはページングする代わりに search/outline に切り替えてください。構造、画面上のテキスト、またはビジュアルが必要な場合は outline を使用してください。動きには perceive を使用してください。ユーザーが自分で文字起こし/字幕を貼り付けた場合は、そのテキストから回答し、画像が必要な瞬間にのみ動画を使用してください。

4. 見る(evidence / frames)

at を指定して evidence を実行すると、フレームとその画面上のテキストおよび文字起こしが返されます。デフォルトは2枚の画像;images:0 でテキストのみ、images:1 で1枚の画像。

frames はテキストでは答えられないもの(カウント、アクション、色、レイアウト)に使用します:

  • at + count:正確なフレーム。
  • start/end:密なウィンドウ(5秒以下);sheet:true で最大9フレームを1枚のラベル付き画像にタイル化;windows:N で名前付き範囲を1枚のカバレッジ画像にサンプリングし、カバーされた範囲と欠落を報告。
  • view:"candidates":ショットリスト(タイムコード+キーフレーム)。「1つのセグメントを見つける」場合に使用。
  • view:"ocr":画面上の行が変化する短いウィンドウのすべてのフレームをOCR。

5. 動き(perceive)

アニメーション、UI遷移、「何が変わったか」、「どこに動くか」の場合:フレームの前に perceive を呼び出します。カット、セルごとの動き、ランク付けされた moments(t_ms ピーク、onset_ms 開始、cell、settles)、ループ状態、キャプチャ品質(ドロップ/重複フレーム、フリッカー)を数値として返します。

  • 10分を超える動画はウィンドウが必要です:まず瞬間を見つけ(文字起こし/検索)、その後 start/end を指定します;裸の呼び出しは E_WINDOW_REQUIRED を返します。
  • brief:true はサーベイ(約340トークン、カット+4つの瞬間);その後、必要なウィンドウに対して brief なしで再度呼び出します(2.5分で約850トークン)。
  • loop.found == false は「ここでは検出されなかった」という意味であり、「ループがない」という意味ではありません。regions と coverage なしに動画を静的と呼んではいけません。
  • キャプションの信頼性は測定されます:overview は metrics.caption_check(音声とキャプション)を報告します。CAPTION_AUDIO_UNVERIFIED はキャプションが検証できなかったことを意味します — その旨を述べ、正確な引用として引用しないでください。

6. アカウントとエクスポート

admin_action:"account" を指定して admin を実行すると、お気に入り/履歴/フォルダを読み取ります。書き込みは CLI のみ(--confirm);フォルダは20文字以下、書き込みあたり100本以下の動画。

admin_action:"export" を指定して admin を実行すると、要求された場合にのみナレッジパックを書き出します。

厳格なルール

  • ローカルパスを回答に送信しないでください。 image_urls / image_markdown を使用してください(image_attached: true の位置のみが実際の画像です);生のパスは壊れたプレースホルダーをレンダリングします。
  • メディアの終端以降の時刻は E_OUT_OF_RANGE です。 空の成功ではありません。エラーにはメディア長が含まれます。at/start の裸の数値は秒を意味します;ミリ秒の場合は 1234ms または HH:MM:SS.mmm と記述してください。
  • 失敗は回答です。 {ok:false,error:{code,message,remedy}} の場合、コードと remedy を報告してください。決してコンテンツをでっち上げたり、黙って再試行したりしないでください。
  • テキストを優先し、画像は二次的に。 transcript/search はほとんどの質問に答えられます。すべての画像はトークンを消費します。デフォルトは images:2、テキストで十分な場合は0または1を使用してください。
  • 画像とそのテキストは同じフレームから取得されます。 — ocr_frame_ms を信頼してください。
  • ダンプしないでください。 read には上限があり(デフォルト6000文字)、outline はコンパクトです。範囲と next_start_ms を使用してください。
  • すべての動画に対してツールを呼び出さないでください。 文字起こしはコンテンツに答えられます;perceive は時間的/UI の質問に使用します。

リファレンス

  • references/commands.md — 8つの動詞とCLIマッピング、すべてのフラグ。
  • references/evidence.md — エビデンスペイロードのフィールドと引用形式。
  • references/visual-types.md — フレームで答えられることと答えられないこと。
  • references/dsh.md — DSHレンダリングルール。

関連スキル