DSH-Video2Agent
動画から回答:文字起こし、画面上のテキスト、構造、正確なフレームを取得します。モデルが推論を行い、このツールは回答が実際に動画を見ることに依存する瞬間を見つけます。
動画がより優れた情報源となる場合
質問は「動画について」である必要はありません。動画が最適な回答を提供する場合:ゲームの新シーズンのティアリストや装備構成(新赛季枪械排行、配装)、製品レビュー、レシピ、ルート案内、話題のビジュアルトピックなど。記憶に基づいて回答する前に、Bilibili で find を呼び出す(またはライブラリを検索する)ようにしてください。古いシーズンを最新として提示しないでください:アップロード日とタイトルのパッチを確認し、動画がそれより前のものである場合はその旨を明記してください。
直接呼び出す
ハーネスが許可する場合は、video2agent ツールをトップレベルツールとして直接呼び出してください。ツールアクションのために CLI にシェルアウトしないでください。ネストされた run_code 呼び出しはプラグインのドックレンダリングをバイパスするため、ハーネスがツールに到達する他の方法を公開していない場合にのみ使用してください。その場合、カードが空白のままになる可能性があります。
チャットで回答;エクスポートは要求された場合のみ
動画に関する回答はチャットに属します。ユーザーがそのファイルを要求しない限り、ノート、Markdown ファイル、ナレッジパック、文字起こしファイル、一時的なアーティファクトを作成またはエクスポートしないでください。ファイルは代替手段ではありません。
8つのコマンド
| コマンド | 戻り値 | 使用する場合 |
|---|---|---|
find | Bilibili の候補(タイトル/アップロード者/時間/理由) | 動画を探している場合;scope:"library" でインデックス化された動画を検索;url で1つのリンクを解決 |
ingest | ジョブID | パス/URL をインデックス化;video_ids で選択したショートリストを開始;job_id でポーリング;campaign_id でキャンペーンを進める |
outline | ワンコールインデックス:文字起こし/OCR行、キーフレーム、カット、カバレッジ(detail:"digest")、メタデータ(overview)、ビジュアルマップ | 動画の最初の確認 |
read | コンパクトなタイムスタンプ付き文字起こし、または2~10本の動画比較 | テキストによる回答または比較 |
evidence | 指定タイムスタンプのフレーム + OCRテキスト + 文字起こし | 瞬間を証明する;通常の画像パス |
frames | 正確なフレーム、密なウィンドウ、シート、ショット候補、OCRウィンドウ | テキストでは答えられないピクセル情報 |
perceive | 数値のみのマップ:カット、セルごとの動き、ランク付けされた瞬間、ループ、キャプチャ品質 — 画像はなし | 動き/UI/アニメーションに関する質問 |
admin | リスト/エクスポート/OCRインデックス/アカウント/診断 | ライブラリメンテナンス、エクスポート、Bilibili ライブラリ |
ワークフロー
1. 検索
query を指定して find を実行;uploader、after、before でフィルタリングします。返信はあなたのためのものであり、表ではありません:メタデータを読み、実際に推薦するIDを指定して ingest を呼び出してください。分析するすべての動画は default_selected(これらだけが開始され、video_ids は単に候補をリストするだけです)と primary に含めます。processLimit を超える場合 → campaign:true。
ペーストされたURL → url を指定して find を実行(タイトル/カバー/時間、ダウンロードはなし)、その後ユーザーが希望したら ingest を実行します。
2. インデックス化
source(ローカルパスまたはURL)を指定して ingest を実行すると、ジョブIDが返されます。find の候補を再度URLでインデックス化しないでください。ショートリストはすでにそのジョブを開始しています。待機が必要ですか? job_id と wait_ms を指定して ingest を1回実行します。1つのジョブのみ(90秒に制限;プログラムは約120秒で終了するため、複数のジョブをループしないでください)。queued = インジェストスロットがビジーでジョブがまだ開始されていません;再度ポーリングしないでください。誤った文字起こし言語の場合 → language を指定して ingest を実行します。
3. 読み取り
outline(detail:"digest")は最も低コストな最初の確認です:タイムスタンプ付きの文字起こし/OCR行、キーフレーム、シーンカット、カバレッジを含む制限されたインデックスを提供します。その後:
- コンテンツに関する質問 →
start/endを指定してread(scope:"transcript")を実行;返信にはnext_start_msが含まれるため、全ファイルを要求する代わりに続けてください。 - 2~10本の動画を比較 →
compare_video_idsとaspectsを指定してread(scope:"compare")を実行。 - 言葉が異なる場合(ASRのスペル、計費/收費/価格など) → 1回の呼び出しで2~8個の
queriesバリアントをfind(scope:"library")に渡します。単一のリテラルクエリは、「動画に存在しない」という誤った結果の最も一般的な原因です。 - 検索結果がゼロヒットでも証明にはなりません:
NO_MATCH、OCR_NOT_INDEXED、OCR_INDEX_PARTIALを読み、テキストが読み取られたことがあるかどうかを確認してください。
3b. ショート動画の高速パス
約6分未満のクリップで、質問が発言内容(画面上の内容ではなく)に関するものである場合、outline をスキップして直接 read を呼び出します:通常、全文の文字起こしは1回の返信に収まります(約150~800トークン)。一方、outline は約1.4kトークンとコンタクトシート画像が必要です。測定値:6,000文字の read 上限は、約8分の高速中国語コメントと約5.5~7分の英語をカバーします。返信が next_start_ms を含む場合、途中で切れたことを示します — 残りの部分についてはページングする代わりに search/outline に切り替えてください。構造、画面上のテキスト、またはビジュアルが必要な場合は outline を使用してください。動きには perceive を使用してください。ユーザーが自分で文字起こし/字幕を貼り付けた場合は、そのテキストから回答し、画像が必要な瞬間にのみ動画を使用してください。
4. 見る(evidence / frames)
at を指定して evidence を実行すると、フレームとその画面上のテキストおよび文字起こしが返されます。デフォルトは2枚の画像;images:0 でテキストのみ、images:1 で1枚の画像。
frames はテキストでは答えられないもの(カウント、アクション、色、レイアウト)に使用します:
at+count:正確なフレーム。start/end:密なウィンドウ(5秒以下);sheet:trueで最大9フレームを1枚のラベル付き画像にタイル化;windows:Nで名前付き範囲を1枚のカバレッジ画像にサンプリングし、カバーされた範囲と欠落を報告。view:"candidates":ショットリスト(タイムコード+キーフレーム)。「1つのセグメントを見つける」場合に使用。view:"ocr":画面上の行が変化する短いウィンドウのすべてのフレームをOCR。
5. 動き(perceive)
アニメーション、UI遷移、「何が変わったか」、「どこに動くか」の場合:フレームの前に perceive を呼び出します。カット、セルごとの動き、ランク付けされた moments(t_ms ピーク、onset_ms 開始、cell、settles)、ループ状態、キャプチャ品質(ドロップ/重複フレーム、フリッカー)を数値として返します。
- 10分を超える動画はウィンドウが必要です:まず瞬間を見つけ(文字起こし/検索)、その後
start/endを指定します;裸の呼び出しはE_WINDOW_REQUIREDを返します。 brief:trueはサーベイ(約340トークン、カット+4つの瞬間);その後、必要なウィンドウに対してbriefなしで再度呼び出します(2.5分で約850トークン)。loop.found == falseは「ここでは検出されなかった」という意味であり、「ループがない」という意味ではありません。regionsとcoverageなしに動画を静的と呼んではいけません。- キャプションの信頼性は測定されます:
overviewはmetrics.caption_check(音声とキャプション)を報告します。CAPTION_AUDIO_UNVERIFIEDはキャプションが検証できなかったことを意味します — その旨を述べ、正確な引用として引用しないでください。
6. アカウントとエクスポート
admin_action:"account" を指定して admin を実行すると、お気に入り/履歴/フォルダを読み取ります。書き込みは CLI のみ(--confirm);フォルダは20文字以下、書き込みあたり100本以下の動画。
admin_action:"export" を指定して admin を実行すると、要求された場合にのみナレッジパックを書き出します。
厳格なルール
- ローカルパスを回答に送信しないでください。
image_urls/image_markdownを使用してください(image_attached: trueの位置のみが実際の画像です);生のパスは壊れたプレースホルダーをレンダリングします。 - メディアの終端以降の時刻は
E_OUT_OF_RANGEです。 空の成功ではありません。エラーにはメディア長が含まれます。at/startの裸の数値は秒を意味します;ミリ秒の場合は1234msまたはHH:MM:SS.mmmと記述してください。 - 失敗は回答です。
{ok:false,error:{code,message,remedy}}の場合、コードと remedy を報告してください。決してコンテンツをでっち上げたり、黙って再試行したりしないでください。 - テキストを優先し、画像は二次的に。
transcript/searchはほとんどの質問に答えられます。すべての画像はトークンを消費します。デフォルトはimages:2、テキストで十分な場合は0または1を使用してください。 - 画像とそのテキストは同じフレームから取得されます。 —
ocr_frame_msを信頼してください。 - ダンプしないでください。
readには上限があり(デフォルト6000文字)、outlineはコンパクトです。範囲とnext_start_msを使用してください。 - すべての動画に対してツールを呼び出さないでください。 文字起こしはコンテンツに答えられます;
perceiveは時間的/UI の質問に使用します。
リファレンス
references/commands.md— 8つの動詞とCLIマッピング、すべてのフラグ。references/evidence.md— エビデンスペイロードのフィールドと引用形式。references/visual-types.md— フレームで答えられることと答えられないこと。references/dsh.md— DSHレンダリングルール。