Communitygithub.com

视频观察

检查参考视频中的动作、广泛注意力、对话及搭档反应。使用镜头视图和上下文关联的裁剪,结合可选的本地语音转录或导入的字幕,将所说内容与谁行动或回应联系起来。保持可见的、音频推导的和解释的证据清晰区分。

视频观察 是什么?

该技能旨在帮助AI代理(如Claude Code、Cursor、Codex等)分析视频表演中观众可见的表现元素。它支持检查人物之间的注意力方向、具体动作、身体反应以及搭档的回应,并严格禁止将宽泛的表演问题转化为面部肌肉、骨骼或精确视线测量等细粒度分析。技能通过集成工具脚本(video_observe.py)工作,该脚本不依赖模型权重或云API,仅在本地运行。当语音可能蕴含故事意义或反应线索时,可配合独立的对话工作流使用本地自动语音识别(ASR)或导入的字幕,但这些工具不保证实际收听或识别可见角色。技能的核心原则是优先观察镜头整体、分离可见事实与推断、保留不确定性,并确保工具输出(如图像路径)被实际查看和记录。它输出静态图像序列和元数据,用于分析姿势和可见顺序,但明确不提供实时节奏或音频质量证据。该技能通用,不依赖特定生产后端(如performance-direction),且所有本地处理无需额外API费用。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/SharingYu/video-performance-skills/tree/HEAD/skills/video-observation

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

视频观察 是做什么的?

帮助现有助手理解普通、观众可见的表演:谁关注谁或什么,他们做什么或说什么,身体如何反应,以及搭档如何回答。不要将宽泛的表演问题转化为面部肌肉、骨骼或精确视线测量。

用用户的语言回应并保持请求的范围。阅读图像观察工作流以了解命令、证据处理和交接。其CPU工具使用这些依赖,无需模型权重或云API。当语音可能包含故事意义或反应线索时,也阅读对话工作流:可选的本地ASR或导入的转录支持相同的源时间线,但不证明收听或识别可见角色。

先观察后解释

  1. 覆盖所有镜头。 在决定哪些时刻重要之前,先检查概览图像。自动剪切边界是导航候选,而非已检测的笑话或保证的场景边界。概览姿势并不确定它们之间的每个动作。
  2. 回到问题。 如果某个回合、中断的动作或搭档反应不清楚,请求围绕它的短窗口。从默认的每秒四帧开始;仅在问题需要时才增加采样或打开原始帧。不要穷尽放大每一个时刻。
  3. 保持关系可见。 检查完整构图以及有用的裁剪。单独的面部可能隐藏其注意力目标;孤立的手可能隐藏搭档的提示。
  4. 先写可见事实。 描述大致方向、接近或离开、动作变化、搭档反应和结果。区分身体/头部方向、可读的眼睛方向和正在处理的对象。对明显的注意力目标使用限定性语言;不可读的眼睛方向可以保持未知,而不妨碍场景的其余部分。
  5. 检查重要的不确定性。 在独立观察者收到第一个解释之前,可以检查相同材料。使用分歧来选择有用的返回视图。助手之间的一致不是真实情况。当源材料无法解决问题时,停止重复查看;保留不确定性并继续有用工作。

对于参考再现,确定是否存在对话以及实际获得了哪些覆盖。使用对话工作流将有意义的台词与说话者、动作和听众反应联系起来。单独的音频轨道、静默ASR结果或字幕文件不能确定场景没有语音。

使观察真实

工具导出图像和元数据。路径、成功消息、帧数、说明或完成的解码不是助手看到了图像的证据。使用主机的图像查看工具打开相关的views[].image_path,或检查返回给主机的实际图像内容。然后用note记录实际的视图ID。

检查主机的响应中是否有遗漏或丢弃的图像。如果批次被截断,在记录之前以较小的批次重新打开缺失的视图。调用图像工具但图像输出从未到达模型是不够的。

保持观察、解释和待解决的问题清晰区分。将陈述与提供的源版本和查看的帧绑定。采样间隙仍然是间隙;在几帧中没有看到响应并不证明它从未发生。

静态序列支持姿势和可见顺序。它们不能确定实时的喜剧节奏或可听质量。记录这些限制,而不是声称播放或收听。完成主机可用的工作,而不将常规的逐镜头用户确认作为依赖。

将已验证的宽泛动作和未解决的细节交给用户的改编、镜头规划或审查工作流。如果performance-direction已可用,其事件卡片可以使用这些观察;此技能不需要它或任何特定的生产后端。

捆绑的工具不发出模型API请求;图像观察和转录导入无需语音模型。可选的转录需要单独准备的本地模型文件和语音扩展。它不会静默替换为云服务。额外的云审查是外部的:仅当任务授权且无需额外API成本时,在确认实际项目/模型处于免费层级后使用。免费的网站或未验证的密钥不能证明免费的API。不可用的服务或配额不影响本地图像/导入工作流的使用。

来源致谢和限制:sources。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相关技能