视频 + 时间线 UX 审计
核心理念: 几秒到几分钟的真实使用过程已经揭示了大部分问题。问题之所以被忽略,是因为没有人能同时看到所有信息:用户尝试了什么、屏幕显示了什么、代码记录了什么、网络发生了什么。本方法将所有这些信息同步到同一时钟,使每一帧都可以通过其事件来解释,每个事件都可以在其对应的帧中看到。然后,AI 一次性读取整个画面。
输出
| 文件 | 说明 |
|---|---|
audit.mp4 | 会话视频,嵌入字幕:黑色表示意图,红色表示每个问题 |
events.json | 每个动作、字幕、控制台消息、异常、请求(状态、毫秒、字节、失败)、长任务和布局偏移,均带有视频时钟时间戳 |
timeline.md | 融合的时间线,外加自动检测的信号,每个信号链接到其发生时的帧 |
ai-pack/ | 按视频时间命名的关键帧,以及 timeline.md 和 PROMPT.md,可供任何多模态大模型一次性审查 |
findings.md | 最终的排序列表:问题、差距和机会,每个都附带证据、UX 修复和性能修复 |
0. 安全
- 使用测试账户和测试数据,仅在沙箱中进行写入操作。真实用户数据为只读。
- 切勿发布姓名、电子邮件、电话号码、ID 或令牌。在共享之前清理
events.json(URL、控制台文本)。 - 使用一次性浏览器配置文件,并在结束时关闭。
1. 构建会话框架(2分钟)
- 用真实用户的语言,确定一到三个核心任务。例如:“找到订单”、“回复客户”、“更改我的套餐”。
- 根据 UI 选择合适的时长:单个屏幕 10–60 秒,完整流程 2–5 分钟。短而聚焦的会话优于冗长的会话。
2. 像真实、非技术用户一样操作
- 在每次操作前说出意图(
say字幕)。 - 只使用可见元素。 不输入 URL、不使用开发者工具、不使用隐藏快捷键。
- 先尝试显而易见的路径。 如果失败,即使有其他路径可行,这也算是一个问题。
- 每次操作后,检查所有内容是否一致: 列表、计数器、标题、其他面板以及对方视图。
- 施加压力。 刷新、返回、在新标签页中打开、使用慢速网络、使用手机宽度(390×844)。
- 注意等待。 如果你在等待,用户也在等待。
有两种驱动方式:
- 脚本化。 一个包含步骤的
scenario.json。可重复执行,修复后相同的文件可作为回归测试的证据。 - 自由模式。
{"url": "...", "freeSeconds": 90}。人或 AI 代理手动驱动浏览器,同时录制所有内容。适用于探索。
3. 录制(Web:Chrome DevTools 协议,零依赖)
chrome --remote-debugging-port=9222 --user-data-dir=/tmp/vua # 一次性浏览器配置文件
node scripts/record.mjs scenario.json --port 9222 --out ./audit-out
bash scripts/encode.sh ./audit-out # → audit.mp4
node scripts/timeline.mjs ./audit-out # → timeline.md, signals.json, ai-pack/
node scripts/report.mjs ./audit-out --title "X" # → findings.md (带字幕的问题)
场景步骤:goto、say、click(CSS 选择器,带可见指针)、type(人类速度)、press、scroll、wait 和 problem(红色字幕、截图和一个问题)。
其他环境使用相同的方法,但采用不同的捕获方式。 无论平台如何,录制屏幕以及平台的日志和网络流,将所有内容同步到同一时钟,并将其作为 events.json 传递给 timeline.mjs:
| 平台 | 屏幕 | 日志和网络 |
|---|---|---|
| iOS | xcrun simctl io booted recordVideo | log stream;代理(mitmproxy)用于网络 |
| Android | adb shell screenrecord | adb logcat;代理用于网络 |
| 桌面 / Electron | 操作系统屏幕捕获 | CDP 端口,与 Web 方式相同 |
| 终端 / CLI | asciinema | stderr,带时间戳 |
4. 自动信号(已为您找到,根据其帧验证每个信号)
| 信号 | 典型含义 |
|---|---|
| js-exception, console-error | 功能故障,通常对用户是静默的 |
| request-failed, http-5xx, http-4xx | 缺少数据、状态错误、权限错误 |
| slow-request(≥ 1 秒;P1 为 ≥ 3 秒) | 用户能感受到的等待;可考虑缓存、预取或索引 |
| heavy-payload(≥ 500 KB) | 移动端加载缓慢;分页、压缩或精简字段 |
| duplicate-request(同一调用在 2 秒内) | 浪费的工作;去重或缓存 |
| never-finished | 挂起的请求、缺少超时、无限旋转图标 |
| long-task(≥ 200 毫秒;P1 为 ≥ 500 毫秒) | UI 冻结;拆分工作、虚拟化、移至 Web Worker |
| layout-shift(≥ 0.05,无输入) | 内容跳动;预留空间 |
阈值可通过 --slow 和 --big 参数修改。
5. 一次性 AI 审查
将 ai-pack/(关键帧、timeline.md 和 PROMPT.md)提供给 AI。它会一次性返回:
- 问题,每个问题都附带严重性和证据:一个关键帧以及解释该问题的相关时间线记录。
- 差距:死胡同、缺少反馈、不明确的状态、缺失的提示,以及不一致的两个界面。
- 机会:可移除、缓存或预取的请求;可合并的步骤;可设置的默认值;顶级竞争对手做得更好的地方。
- 按用户影响 ÷ 工作量排序的所有项目。
规则:没有证据,就没有记录。 每个断言都必须引用一个关键帧或事件。
6. 严重性
- P0:数据丢失、收件人错误、隐私或安全泄露,或核心任务无法完成。
- P1:核心任务损坏或误导、操作耗时超过 1 秒或视图加载超过 3 秒、JS 异常位于主路径上、或两个界面不一致。
- P2:摩擦、措辞令人困惑、外观问题、或浪费的请求。
7. 闭环
- 先修复 P0,然后修复 P1,每个问题只做一个小改动。
- 每次修复后重新运行相同的场景。新的时间线就是证据:信号消失且性能提升。附上前后对比。
- 将场景保存为库。每次发布后重新运行它们,可在几秒钟内捕获回归问题。