動画 + タイムライン UX 監査
アイデア: 実際の使用の数秒から数分の中に、問題のほとんどがすでに隠れています。問題が見逃されるのは、誰もすべてを同時に見られないからです:ユーザーが試みたこと、画面に表示されたこと、コードがログに記録したこと、ネットワークが行ったこと。この方法では、これらすべてを 1つのクロック に記録するため、すべてのフレームをそのイベントで説明でき、すべてのイベントをそのフレームで確認できます。その後、AIが全体像を1回のパスで読み取ります。
出力
| ファイル | 説明 |
|---|---|
audit.mp4 | セッションの録画。キャプション(黒:意図、赤:問題)が焼き込まれています |
events.json | すべてのアクション、キャプション、コンソールメッセージ、例外、リクエスト(ステータス、ms、バイト数、失敗)、ロングタスク、レイアウトシフトを、ビデオクロックに基づくタイムスタンプで記録 |
timeline.md | 統合タイムライン。さらに 自動検出されたシグナル を各発生フレームにリンクして表示 |
ai-pack/ | ビデオ時刻で名前付けされたキーフレーム、timeline.md、PROMPT.md。マルチモーダルLLMが一括レビューできる状態 |
findings.md | 最終的なランク付けリスト:問題、ギャップ、機会。各項目に証拠、UX修正案、パフォーマンス修正案を添付 |
0. 安全性
- テストアカウントとテストデータを使用し、書き込みはサンドボックスのみで行ってください。本番ユーザーデータは読み取り専用です。
- 氏名、メールアドレス、電話番号、ID、トークンを決して公開しないでください。
events.json(URL、コンソールテキスト)を共有前にスクラブしてください。 - 使い捨てのブラウザプロファイルを使用し、最後に閉じてください。
1. セッションを枠組みする(2分)
- 実際のユーザーが訪れる 1つから3つのジョブ を、そのユーザーの言葉で名前付けします。例:「注文を探す」「顧客に返信する」「プランを変更する」。
- UIに合わせて長さを選びます:1画面の場合 10~60秒、フロー全体の場合 2~5分。短く焦点を絞ったセッションが長いものより優れています。
2. 実際の非技術ユーザーのように振る舞う
- 各動作の前に 意図を口に出して言う(
sayキャプション)。 - 見えるものだけを使用する。 URLの直接入力、開発者ツール、隠しショートカットは使用しない。
- まず明白な経路を試す。 それが失敗した場合、たとえ別の経路が機能しても、それが発見事項です。
- 各アクションの後、すべてが一致していることを確認する: リスト、カウンター、ヘッダー、他のパネル、相手側のビュー。
- 状態に負荷をかける。 リロード、戻る、新しいタブで開く、低速ネットワークの使用、電話幅(390×844)での表示。
- 待ち時間に注意する。 あなたが待つなら、ユーザーも待ちます。
操作の方法は2つあります:
- スクリプト駆動。 ステップを定義した
scenario.jsonを使用します。再現可能で、同じファイルが修正後の回帰テストになります。 - フリー操作。
{"url": "...", "freeSeconds": 90}。人間またはエージェントが手動でブラウザを操作しながら、すべてを記録します。探索に使用します。
3. 録画(ウェブ:Chrome DevTools Protocol、依存関係ゼロ)
chrome --remote-debugging-port=9222 --user-data-dir=/tmp/vua # 使い捨てプロファイル
node scripts/record.mjs scenario.json --port 9222 --out ./audit-out
bash scripts/encode.sh ./audit-out # → audit.mp4
node scripts/timeline.mjs ./audit-out # → timeline.md, signals.json, ai-pack/
node scripts/report.mjs ./audit-out --title "X" # → findings.md(キャプション付き発見事項)
シナリオのステップ:goto、say、click(CSSセレクター、可視ポインター)、type(人間速度)、press、scroll、wait、problem(赤いキャプション、スクリーンショット、発見事項)。
他の環境も同じ方法を使用しますが、キャプチャ手段が異なります。 プラットフォームに関わらず、画面とそのプラットフォームのログ・ネットワークストリームを録画し、すべてを1つのクロックに揃えて、events.json として timeline.mjs に渡します:
| プラットフォーム | 画面 | ログとネットワーク |
|---|---|---|
| iOS | xcrun simctl io booted recordVideo | log stream;プロキシ(mitmproxy)でネットワーク |
| Android | adb shell screenrecord | adb logcat;プロキシでネットワーク |
| デスクトップ / Electron | OS画面キャプチャ | CDPポート(ウェブと同様) |
| ターミナル / CLI | asciinema | タイムスタンプ付き stderr |
4. 自動シグナル(自動検出されます。各シグナルを該当フレームで確認してください)
| シグナル | 典型的な意味 |
|---|---|
| js-exception, console-error | 壊れた機能。ユーザーには気付かれないことが多い |
| request-failed, http-5xx, http-4xx | データ欠落、間違った状態、不適切な権限 |
| slow-request(≥ 1 秒、P1なら ≥ 3 秒) | ユーザーが感じる待ち時間。キャッシュ、プリフェッチ、インデックスの候補 |
| heavy-payload(≥ 500 KB) | モバイルで遅い。ページネーション、圧縮、フィールドのトリミングを検討 |
| duplicate-request(同一呼び出しが2秒以内) | 無駄な処理。重複排除またはキャッシュ |
| never-finished | ハングしたリクエスト。タイムアウト不足、無限スピナー |
| long-task(≥ 200 ms、P1なら ≥ 500 ms) | UIのフリーズ。処理の分割、仮想化、ワーカーへの移動 |
| layout-shift(≥ 0.05、入力なし) | コンテンツの跳ね。領域の予約 |
しきい値は --slow および --big オプションで変更できます。
5. 一括AIレビュー
AIに ai-pack/(キーフレーム、timeline.md、PROMPT.md)を渡します。AIは1回のパスで以下を返します:
- 問題(Issues):それぞれに重大度と証拠(フレームとそれを説明するタイムライン行)を添付。
- ギャップ(Gaps):行き止まり、フィードバック不足、不明瞭な状態、アフォーダンス不足、2つの画面間の不一致。
- 機会(Opportunities):削除・キャッシュ・プリフェッチすべきリクエスト、マージすべきステップ、設定すべきデフォルト値、トップ競合が優れている点。
- ランキング:すべてをユーザー影響度 ÷ 工数で順位付け。
ルール:証拠なし = 行なし。 すべての主張はフレームまたはイベントを引用します。
6. 重大度
- P0:データ損失、誤った受信者、プライバシー/セキュリティ漏洩、またはコアジョブの実行不可能。
- P1:コアジョブの破損または誤解を招く、アクションに1秒以上かかる、またはビューに3秒以上かかる、メインパスにJS例外が存在する、または2つの画面が矛盾する。
- P2:摩擦、紛らわしい表現、外観上の問題、または無駄なリクエスト。
7. フィードバックループを閉じる
- 最初にP0を修正し、次にP1を修正します。各発見事項に対して1つの小さな変更を行います。
- 各修正後に 同じシナリオ を再実行します。新しいタイムラインが証拠です:シグナルが消え、タイミングが改善されています。before/afterを添付してください。
- シナリオをライブラリとして保持します。リリース後に再実行することで、数秒で回帰を検出できます。