Communitygithub.com

video-observation

檢查參考影片中的動作、廣泛注意力、口語對話與夥伴反應。使用鏡頭視角與情境相關裁剪,並搭配可選的本地語音轉錄或匯入字幕,連結說話內容、行動者與回應者。保持可視、音頻推導及推測證據之間的區別。

video-observation 是什麼?

Video Observation 技能旨在協助 AI 助手分析影片中一般觀眾可見的表演細節,例如注意力方向、動作、身體反應及對話互動。它適用於 Claude Code 等指令驅動的開發環境,透過工具(如 video_observe.py)提供本地化的影像觀察功能,無需依賴雲端 API 或模型權重。技能強調在解釋之前先進行觀察:檢查全景與裁剪圖、記錄可視事實(如方向與動作變化)、並區分觀察、解釋與不確定性。當對話可能承載情節意義時,可選用本地 ASR 或匯入字幕以連結台詞與動作。輸出保持證據的來源一致性,並將已驗證的動作與未解決的細節移交給下游工作流程(如 performance-direction)。此技能不取代精確的臉部或骨架測量,而是專注於對廣泛動作與互動脈絡的描述,對於需要理解影片場景敘事與角色行為的開發者或創作者特別有幫助。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/SharingYu/video-performance-skills/tree/HEAD/skills/video-observation

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

影片觀察

協助現有助手理解一般觀眾可見的表演:誰注意誰或什麼、他們做什麼或說什麼、身體如何反應、以及夥伴如何回應。請勿將廣泛的表演問題轉變為臉部肌肉、骨骼或精確的注視測量。

以使用者的語言回應,並保持要求的範圍。請閱讀影像觀察工作流程以了解指令、證據處理及交接。其 CPU 工具 使用這些依賴項,無需模型權重或雲端 API。當語音可能承載故事意義或反應提示時,也請閱讀對話工作流程:可選的本地 ASR 或匯入字幕支援相同的來源時間軸,但不能保證聽覺識別或辨識可見角色。

觀察優先於解釋

  1. 涵蓋所有鏡頭。 在決定哪些時刻重要之前,先檢查總覽影像。自動的剪輯邊界僅是導航候選項,而非檢測到的笑點或保證的場景邊界。總覽姿勢無法確立其間每個動作。
  2. 回到問題點。 如果一個轉折、被打斷的動作或夥伴回應不清楚,請求該事件前後的短時間視窗。從預設的每秒四幀開始;僅在問題需要時才增加取樣頻率或開啟原始幀。請勿窮舉放大每個瞬間。
  3. 保持關係可視。 在查看有用的裁剪圖的同時,也檢查完整的畫面構圖。單獨的臉部可能隱藏其注意力目標;孤立的手可能隱藏夥伴的提示。
  4. 先寫下可視事實。 描述大致方向、接近或遠離、動作變化、夥伴回應及結果。區分身體/頭部方向、可讀的眼睛方向以及正在處理的物體。對於明顯的注意力目標使用基於證據的語言;不可讀的眼睛方向可以保持未知,而不影響對場景其餘部分的理解。
  5. 檢查重要的不確定性。 獨立的觀察者可以在接收初步解釋之前檢查相同的材料。使用分歧來選擇有用的返回視角。助手之間的一致意見並非絕對事實。當來源無法解決問題時停止重複查看;保留不確定性並繼續有用的工作。

對於參考重現,需確認是否存在對話以及實際獲得的覆蓋範圍。使用對話工作流程將重要的台詞與說話者、動作及聽眾回應連結起來。單獨的音訊軌、靜默的 ASR 結果或字幕檔案無法證明該場景沒有對白。

使觀察真實

工具會匯出影像與元數據。路徑、成功訊息、幀數、標題或完成的解碼並不能證明助手已查看影像。使用主機的影像檢視工具開啟相關的 views[].image_path,或檢查實際返回給主機的影像內容。然後使用 note 記錄實際的視圖 ID。

檢查主機的回應是否有省略或丟棄的影像。如果批次被截斷,請在記錄之前以較小的批次重新開啟缺失的視圖。當影像輸出從未到達模型時,僅呼叫影像工具是不夠的。

保持觀察、解釋與開放性問題的區別。將陳述綁定到提供的來源版本和已觀看的幀。取樣間隔仍然是間隔;在少數幀中未看到回應並不能證明它從未發生。

靜態序列支援姿勢與可見順序。它們無法確立即時的喜劇節奏或可聽品質。記錄這些限制,而不是聲稱具備播放或聽覺能力。完成主機可用的工作,而無需將常規的逐鏡頭使用者確認作為依賴。

將已驗證的廣泛動作與未解決的細節移交給使用者的改編、鏡頭規劃或審查工作流程。如果 performance-direction 已可用,其事件卡片可以消費這些觀察;此技能不要求它或任何特定的製作後端。

捆綁的工具不發出模型 API 請求;影像觀察與字幕匯入無需語音模型。可選的轉錄需要獨立準備的本地模型檔案與語音擴展。它不會靜默地替換為雲端服務。額外的雲端審查是外部的:僅在任務授權範圍內使用,並且在不需要額外 API 成本時,確認實際的專案/模型處於免費層級後使用。免費網站或未驗證的金鑰不能證明免費 API。服務或配額不可用時,本地影像/匯入工作流程仍可使用。

來源致謝與限制:來源。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相關技能