Communitygithub.com

ビデオ観察

参照映像のアクション、広い範囲の注意、発話対話、パートナーの反応を検査します。ショットビューと文脈に応じたクロップを使用し、オプションでローカル音声認識またはインポートされた字幕を利用して、発言と行動や反応を結びつけます。可視情報、音声由来の証拠、解釈を明確に区別します。

ビデオ観察 とは?

このスキルは、AIエージェント(例:Claude Code、Cursor、Codex)が動画内の人間のパフォーマンス(行動、発話、相互作用)を観察・分析するための包括的なワークフローを提供します。オーディエンスに見える範囲の動作を理解することに焦点を当てており、顔の筋肉、骨格、視線の精密測定などには踏み込みません。主な機能は、ショットビューと文脈に応じたクロップを用いた映像の検査、ローカル音声認識(ASR)または字幕インポートによる発話の紐付け、観察結果の明確な記録です。このスキルはクラウドAPIやモデル重みに依存せず、同梱のPythonスクリプト(video_observe.py)がローカルで動作します。重要な点として、観察(visible facts)と解釈(interpretation)、未解決の疑問を明確に区別し、証拠に基づいた報告を行います。また、画像観察ツールの出力が実際にモデルに届いているか確認するプロセスや、不確実性を保持したまま作業を進める方法など、エージェントの信頼性を高めるための実践的なガイドラインも含まれています。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/SharingYu/video-performance-skills/tree/HEAD/skills/video-observation

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

ビデオ観察 は何をしますか?

既存のアシスタントが、通常の観客に見えるパフォーマンス(誰が誰に、または何に注意を向けるか、何をし、何を言うか、身体がどのように反応するか、パートナーがどのように応答するか)を理解できるようにします。広範な演技の質問を、顔の筋肉、骨格、または精密な視線測定に変えないでください。

ユーザーの言語で応答し、要求された範囲を維持してください。コマンド、証拠の処理、引き継ぎについては、画像観察ワークフローを参照してください。そのCPUツールはこれらの依存関係を使用し、モデル重みやクラウドAPIは必要ありません。発話がストーリーの意味や反応の手がかりを持つ可能性がある場合は、対話ワークフローも参照してください。オプションのローカルASRまたはインポートされたトランスクリプトは同じソースタイムラインをサポートしますが、聞き取りを証明したり、見えるキャラクターを特定したりするものではありません。

説明する前に観察する

  1. ショットをカバーする。 どの瞬間が重要かを判断する前に、概要画像を検査します。自動的なカット境界はナビゲーションの候補であり、検出されたジョークや保証されたシーン境界ではありません。概要のポーズは、その間のすべてのアクションを確立するものではありません。
  2. 質問に戻る。 ターン、中断されたアクション、またはパートナーの応答が不明瞭な場合は、その周辺の短いウィンドウを要求します。デフォルトの秒間4フレームから開始し、質問に必要な場合にのみサンプリングを増やすか、元のフレームを開きます。すべての瞬間を徹底的に拡大しないでください。
  3. 関係性を可視化する。 有用なクロップとともに、全体の構図を確認します。顔だけでは注意の対象が隠れている可能性があります。孤立した手だけではパートナーの合図が見えない可能性があります。
  4. まず可視の事実を記述する。 おおよその方向、接近または後退、アクションの変化、パートナーの応答、結果を説明します。身体/頭の方向、読み取り可能な目の方向、および操作されているオブジェクトを分離します。明らかな注意の対象には限定表現を使用します。目の方向が読み取れない場合は、シーンの残りの部分をブロックすることなく不明のままで構いません。
  5. 重要な不確実性を確認する。 独立した観察者は、最初の解釈を受け取る前に同じ素材を検査できます。不一致を利用して、有用な戻りビューを選択します。アシスタント間の一致は真実ではありません。ソースが質問を解決できない場合はビューの繰り返しを停止し、不確実性を保持して有用な作業を続けます。

参考的な再現のために、対話が存在するかどうか、および実際にどの程度のカバレッジが得られたかを確認します。重要な台詞を、対話ワークフローを使用して発話者、アクション、および聞き手の応答に結びつけます。オーディオトラック、無音のASR結果、または字幕ファイルだけでは、そのシーンに発話がないことを証明できません。

観察を現実のものにする

ツールは画像とメタデータをエクスポートします。パス、成功メッセージ、フレーム数、キャプション、または完了したデコードは、アシスタントが画像を見たという証拠にはなりません。ホストの画像表示ツールで該当する views[].image_path を開くか、ホストに返された実際の画像コンテンツを検査します。次に、note で実際のビューIDを記録します。

省略されたり破棄されたりした画像がないか、ホストの応答を確認します。バッチが切り詰められている場合は、記録する前に欠落したビューをより小さなバッチで再度開きます。画像ツールを呼び出すだけでは、その画像出力がモデルに到達しなかった場合には不十分です。

観察、解釈、未解決の質問を明確に区別します。ステートメントを提供されたソースバージョンと表示されたフレームに結びつけます。サンプリングのギャップはギャップのままです。数フレームで応答が見られないからといって、それが決して起こらなかったことを証明するものではありません。

静的なシーケンスは、ポーズと可視の順序をサポートします。それらはリアルタイムのコメディリズムや可聴品質を確立するものではありません。再生やリスニングを主張するのではなく、それらの限界を記録します。ホストが利用できる作業を完了し、日常的なショットごとのユーザー確認を依存関係にしないでください。

確認された広範なアクションと未解決の詳細を、ユーザーの適応、ショット計画、またはレビューワークフローに引き渡します。performance-direction がすでに利用可能な場合、そのイベントカードはこれらの観察を消費できます。このスキルはそれや特定のプロダクションバックエンドを必要としません。

バンドルされているツールはモデルAPIリクエストを行いません。画像観察とトランスクリプトのインポートには音声モデルは必要ありません。オプションの文字起こしには、個別に準備されたローカルモデルファイルと音声拡張機能が必要です。それは黙ってクラウドサービスに置き換わることはありません。追加のクラウドレビューは外部のものです。タスクの許可内でのみ使用し、追加のAPIコストが不要な場合に限り、実際のプロジェクト/モデルが無料枠にあることを確認した後に使用してください。無料のWebサイトや未確認のキーは、無料APIの証明にはなりません。利用できないサービスやクォータ制限があっても、ローカルの画像/インポートワークフローは使用可能です。

ソースの謝辞と制限事項: sources。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

関連スキル