Community编程与开发github.com

视频+时间线UX审计

快速发现任何UI中的问题、差距和机会。录制用户操作短视频,将控制台、网络和性能事件与视频帧同步在同一时钟上,让AI一次性审查融合后的时间线。输出带证据的排序报告和UX/性能修复建议。

视频+时间线UX审计 是什么?

这是一个通用的UI体验审计技能,适用于任何平台(Web、iOS、Android、桌面应用、终端)。它通过录制真实用户操作(10秒到5分钟),同时捕获屏幕视频、控制台日志、网络请求和性能指标,并将所有数据同步到同一个时间线上。AI(支持任何多模态大模型)可以一次性审查整个融合时间线,自动检测JavaScript异常、慢请求、重度负载、布局偏移等信号,并生成排序后的`findings.md`,每个问题都带有证据(关键帧和时间线事件)以及对应的UX和性能修复方案。该技能特别适合在重新设计前、发布后或用户反馈“感觉卡顿/有问题”时使用,并且支持回归测试:修复后重新运行相同场景来验证问题是否解决。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/serebano/video-ux-audit/tree/HEAD

Installed? Explore more 编程与开发 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

视频 + 时间线 UX 审计

核心理念: 几秒到几分钟的真实使用过程已经揭示了大部分问题。问题之所以被忽略,是因为没有人能同时看到所有信息:用户尝试了什么、屏幕显示了什么、代码记录了什么、网络发生了什么。本方法将所有这些信息同步到同一时钟,使每一帧都可以通过其事件来解释,每个事件都可以在其对应的帧中看到。然后,AI 一次性读取整个画面。

输出

文件说明
audit.mp4会话视频,嵌入字幕:黑色表示意图,红色表示每个问题
events.json每个动作、字幕、控制台消息、异常、请求(状态、毫秒、字节、失败)、长任务和布局偏移,均带有视频时钟时间戳
timeline.md融合的时间线,外加自动检测的信号,每个信号链接到其发生时的帧
ai-pack/按视频时间命名的关键帧,以及 timeline.md 和 PROMPT.md,可供任何多模态大模型一次性审查
findings.md最终的排序列表:问题、差距和机会,每个都附带证据、UX 修复和性能修复

0. 安全

  • 使用测试账户和测试数据,仅在沙箱中进行写入操作。真实用户数据为只读。
  • 切勿发布姓名、电子邮件、电话号码、ID 或令牌。在共享之前清理 events.json(URL、控制台文本)。
  • 使用一次性浏览器配置文件,并在结束时关闭。

1. 构建会话框架(2分钟)

  • 用真实用户的语言,确定一到三个核心任务。例如:“找到订单”、“回复客户”、“更改我的套餐”。
  • 根据 UI 选择合适的时长:单个屏幕 10–60 秒,完整流程 2–5 分钟。短而聚焦的会话优于冗长的会话。

2. 像真实、非技术用户一样操作

  • 在每次操作前说出意图(say 字幕)。
  • 只使用可见元素。 不输入 URL、不使用开发者工具、不使用隐藏快捷键。
  • 先尝试显而易见的路径。 如果失败,即使有其他路径可行,这也算是一个问题。
  • 每次操作后,检查所有内容是否一致: 列表、计数器、标题、其他面板以及对方视图。
  • 施加压力。 刷新、返回、在新标签页中打开、使用慢速网络、使用手机宽度(390×844)。
  • 注意等待。 如果你在等待,用户也在等待。

有两种驱动方式:

  • 脚本化。 一个包含步骤的 scenario.json。可重复执行,修复后相同的文件可作为回归测试的证据。
  • 自由模式。 {"url": "...", "freeSeconds": 90}。人或 AI 代理手动驱动浏览器,同时录制所有内容。适用于探索。

3. 录制(Web:Chrome DevTools 协议,零依赖)

chrome --remote-debugging-port=9222 --user-data-dir=/tmp/vua   # 一次性浏览器配置文件
node scripts/record.mjs scenario.json --port 9222 --out ./audit-out
bash scripts/encode.sh ./audit-out                 # → audit.mp4
node scripts/timeline.mjs ./audit-out              # → timeline.md, signals.json, ai-pack/
node scripts/report.mjs ./audit-out --title "X"    # → findings.md (带字幕的问题)

场景步骤:goto、say、click(CSS 选择器,带可见指针)、type(人类速度)、press、scroll、wait 和 problem(红色字幕、截图和一个问题)。

其他环境使用相同的方法,但采用不同的捕获方式。 无论平台如何,录制屏幕以及平台的日志和网络流,将所有内容同步到同一时钟,并将其作为 events.json 传递给 timeline.mjs:

平台屏幕日志和网络
iOSxcrun simctl io booted recordVideolog stream;代理(mitmproxy)用于网络
Androidadb shell screenrecordadb logcat;代理用于网络
桌面 / Electron操作系统屏幕捕获CDP 端口,与 Web 方式相同
终端 / CLIasciinemastderr,带时间戳

4. 自动信号(已为您找到,根据其帧验证每个信号)

信号典型含义
js-exception, console-error功能故障,通常对用户是静默的
request-failed, http-5xx, http-4xx缺少数据、状态错误、权限错误
slow-request(≥ 1 秒;P1 为 ≥ 3 秒)用户能感受到的等待;可考虑缓存、预取或索引
heavy-payload(≥ 500 KB)移动端加载缓慢;分页、压缩或精简字段
duplicate-request(同一调用在 2 秒内)浪费的工作;去重或缓存
never-finished挂起的请求、缺少超时、无限旋转图标
long-task(≥ 200 毫秒;P1 为 ≥ 500 毫秒)UI 冻结;拆分工作、虚拟化、移至 Web Worker
layout-shift(≥ 0.05,无输入)内容跳动;预留空间

阈值可通过 --slow 和 --big 参数修改。

5. 一次性 AI 审查

将 ai-pack/(关键帧、timeline.md 和 PROMPT.md)提供给 AI。它会一次性返回:

  1. 问题,每个问题都附带严重性和证据:一个关键帧以及解释该问题的相关时间线记录。
  2. 差距:死胡同、缺少反馈、不明确的状态、缺失的提示,以及不一致的两个界面。
  3. 机会:可移除、缓存或预取的请求;可合并的步骤;可设置的默认值;顶级竞争对手做得更好的地方。
  4. 按用户影响 ÷ 工作量排序的所有项目。

规则:没有证据,就没有记录。 每个断言都必须引用一个关键帧或事件。

6. 严重性

  • P0:数据丢失、收件人错误、隐私或安全泄露,或核心任务无法完成。
  • P1:核心任务损坏或误导、操作耗时超过 1 秒或视图加载超过 3 秒、JS 异常位于主路径上、或两个界面不一致。
  • P2:摩擦、措辞令人困惑、外观问题、或浪费的请求。

7. 闭环

  • 先修复 P0,然后修复 P1,每个问题只做一个小改动。
  • 每次修复后重新运行相同的场景。新的时间线就是证据:信号消失且性能提升。附上前后对比。
  • 将场景保存为库。每次发布后重新运行它们,可在几秒钟内捕获回归问题。

相关技能