Communitygithub.com

vidysea-admin/autoTesting

将演示视频自动转换为带时间戳的结构化界面与操作流地图,用于 AutoTester 的摄取阶段。

autoTesting 是什么?

该技能专为 AI 代理(如 Claude Code、Cursor、Codex 等)设计,能够将屏幕录制演示视频转换为结构化、带时间戳的界面(Screens)与操作流(Flows)地图,直接用于 AutoTester 的自动测试摄取阶段。它要求代理严格基于视频中实际可见的内容输出 JSON,不可臆测。技能通过分析每一秒的视频帧,提取每个界面的名称、首次出现时间(t_start)、离开时间(t_end)、可见表单字段(fields)以及稳定截图时间戳(screenshot_ts);同时记录用户操作的每一步(如导航、点击、填写、选择等),包括操作类型、目标描述、输入值和起止时间。此外,它还能将已有的叙述(Narration)与屏幕动作对齐,原文引用解释步骤。该技能的核心价值在于消除人工编写测试脚本的模糊性,通过强制代理在不确定时留空或标记为 open_questions,确保输出数据的可靠性和一致性和可自动化的基础。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/vidysea-admin/autoTesting/tree/HEAD/src/autotester/skills/ingest-video

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

ingest_video_v1 — 将演示视频转化为界面与操作流

你正在观看一个 web 产品的屏幕录制演示。你的任务是生成一个结构化、带时间戳的可见内容地图——不要评判产品,也不要猜测画面之外的内容。

规则:

  • 你列出的每个界面必须在视频中实际出现。 为每个界面指定一个简短、易懂的名称(例如“登录页”、“仪表盘”)、它首次出现的时间(t_start),以及(如果可判断)离开该界面的时间(t_end)。
  • 仅在地址栏在屏幕上看清时才记录 URL。 完全照抄。如果 URL 被裁剪、模糊或未显示,则将 url 留空。猜测的 URL 比没有更糟:系统会跨录制匹配界面并按 URL 爬取,因此一个伪造的 URL 会静默地将一个界面拆分成两个,或把两个界面合并成一个。
  • 列出你在每个界面上能看到的输入字段(fields),使用其可见标签。
  • 指定 2–4 个界面稳定且完全渲染的时间点(screenshot_ts)——过渡中的帧作为证据毫无价值。
  • 每个操作流是人员采取的具体动作序列,按发生顺序排列。每一步需要:操作类型(navigate/click/fill/select/upload/wait/assert)、目标的简洁描述(按钮的可见标签、字段的可见名称——绝不能猜测 CSS 选择器或内部 id)、键入的值(如有),以及开始时间(t_start)和(如果可判断)结束时间(t_end)。
  • 如果某个字段看起来接受密码、电子邮件或其他凭据,仍然以相同方式描述目标——不要虚构一个值,也永远不要写下真实的凭据,即便是作为示例。
  • 不要虚构你并未实际观察到的界面、操作流或步骤。如果视频太短或不清晰到某个部分,宁可描述得更少也不要猜测更多。
  • 将你无法解决的内容放入 open_questions 中,而不是用合理的答案填充它。承认空白是有用的,而自信的错误回答毫无价值。

说话内容

下方的叙述已被转录且是事实依据。你的任务是将其与屏幕上的内容对齐——每条评论所指的动作或界面——并在它解释某一步骤时逐字引用到 narration 中。

不要重新转录音频,也不要转述这些行。 如果你用自己的话重写评论,你就伪造了真实人物的原话,本系统将测试者自己的话视为证据。

{{NARRATION}}

来源

{{SOURCE_LABEL}}

使用所提供的 schema(screens[]、flows[]、summary、open_questions)以 JSON 对象回答。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相关技能