视频观察 是做什么的?
帮助现有助手理解普通、观众可见的表演:谁关注谁或什么,他们做什么或说什么,身体如何反应,以及搭档如何回答。不要将宽泛的表演问题转化为面部肌肉、骨骼或精确视线测量。
用用户的语言回应并保持请求的范围。阅读图像观察工作流以了解命令、证据处理和交接。其CPU工具使用这些依赖,无需模型权重或云API。当语音可能包含故事意义或反应线索时,也阅读对话工作流:可选的本地ASR或导入的转录支持相同的源时间线,但不证明收听或识别可见角色。
先观察后解释
- 覆盖所有镜头。 在决定哪些时刻重要之前,先检查概览图像。自动剪切边界是导航候选,而非已检测的笑话或保证的场景边界。概览姿势并不确定它们之间的每个动作。
- 回到问题。 如果某个回合、中断的动作或搭档反应不清楚,请求围绕它的短窗口。从默认的每秒四帧开始;仅在问题需要时才增加采样或打开原始帧。不要穷尽放大每一个时刻。
- 保持关系可见。 检查完整构图以及有用的裁剪。单独的面部可能隐藏其注意力目标;孤立的手可能隐藏搭档的提示。
- 先写可见事实。 描述大致方向、接近或离开、动作变化、搭档反应和结果。区分身体/头部方向、可读的眼睛方向和正在处理的对象。对明显的注意力目标使用限定性语言;不可读的眼睛方向可以保持未知,而不妨碍场景的其余部分。
- 检查重要的不确定性。 在独立观察者收到第一个解释之前,可以检查相同材料。使用分歧来选择有用的返回视图。助手之间的一致不是真实情况。当源材料无法解决问题时,停止重复查看;保留不确定性并继续有用工作。
对于参考再现,确定是否存在对话以及实际获得了哪些覆盖。使用对话工作流将有意义的台词与说话者、动作和听众反应联系起来。单独的音频轨道、静默ASR结果或字幕文件不能确定场景没有语音。
使观察真实
工具导出图像和元数据。路径、成功消息、帧数、说明或完成的解码不是助手看到了图像的证据。使用主机的图像查看工具打开相关的views[].image_path,或检查返回给主机的实际图像内容。然后用note记录实际的视图ID。
检查主机的响应中是否有遗漏或丢弃的图像。如果批次被截断,在记录之前以较小的批次重新打开缺失的视图。调用图像工具但图像输出从未到达模型是不够的。
保持观察、解释和待解决的问题清晰区分。将陈述与提供的源版本和查看的帧绑定。采样间隙仍然是间隙;在几帧中没有看到响应并不证明它从未发生。
静态序列支持姿势和可见顺序。它们不能确定实时的喜剧节奏或可听质量。记录这些限制,而不是声称播放或收听。完成主机可用的工作,而不将常规的逐镜头用户确认作为依赖。
将已验证的宽泛动作和未解决的细节交给用户的改编、镜头规划或审查工作流。如果performance-direction已可用,其事件卡片可以使用这些观察;此技能不需要它或任何特定的生产后端。
捆绑的工具不发出模型API请求;图像观察和转录导入无需语音模型。可选的转录需要单独准备的本地模型文件和语音扩展。它不会静默替换为云服务。额外的云审查是外部的:仅当任务授权且无需额外API成本时,在确认实际项目/模型处于免费层级后使用。免费的网站或未验证的密钥不能证明免费的API。不可用的服务或配额不影响本地图像/导入工作流的使用。
来源致谢和限制:sources。