Communityコーディング&開発github.com

video-ux-audit

短い操作セッションを録画し、コンソール、ネットワーク、パフォーマンスイベントを同じ時系列でキャプチャし、AIが統合タイムラインを一括レビューするための汎用ツールです。出力は証拠付きのランク付けされたfindings.mdとUX/パフォーマンス修正案です。

video-ux-audit とは?

このスキルは、ユーザーインターフェースの根本的な問題(バグ、パフォーマンスのボトルネック、UXの摩擦など)を迅速に発見するための包括的な監査手法です。ユーザー(またはエージェント)がUIを操作する様子を録画(画面キャプチャ+イベントログ)し、それらを同一のタイムライン上に統合して、AI(マルチモーダルLLM)に一度でレビューさせます。対応プラットフォームはウェブ(Chrome DevTools Protocol)、iOS、Android、デスクトップ、ターミナルなど多岐にわたり、スクリプト駆動と自由探索の両方に対応。出力として、キャプション付き動画、イベントJSON、自動検出されたシグナル(JS例外、遅いリクエスト、レイアウトシフトなど)を含むタイムライン、そしてAIによるランク付けされた修正案(issue、gap、opportunity)を含むfindings.mdを生成します。この手法により、開発者は数秒の操作からUIの状態をひと目で把握し、修正後に同じシナリオを再実行して回帰を防止できます。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/serebano/video-ux-audit/tree/HEAD

Installed? Explore more コーディング&開発 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

動画 + タイムライン UX 監査

アイデア: 実際の使用の数秒から数分の中に、問題のほとんどがすでに隠れています。問題が見逃されるのは、誰もすべてを同時に見られないからです:ユーザーが試みたこと、画面に表示されたこと、コードがログに記録したこと、ネットワークが行ったこと。この方法では、これらすべてを 1つのクロック に記録するため、すべてのフレームをそのイベントで説明でき、すべてのイベントをそのフレームで確認できます。その後、AIが全体像を1回のパスで読み取ります。

出力

ファイル説明
audit.mp4セッションの録画。キャプション(黒:意図、赤:問題)が焼き込まれています
events.jsonすべてのアクション、キャプション、コンソールメッセージ、例外、リクエスト(ステータス、ms、バイト数、失敗)、ロングタスク、レイアウトシフトを、ビデオクロックに基づくタイムスタンプで記録
timeline.md統合タイムライン。さらに 自動検出されたシグナル を各発生フレームにリンクして表示
ai-pack/ビデオ時刻で名前付けされたキーフレーム、timeline.md、PROMPT.md。マルチモーダルLLMが一括レビューできる状態
findings.md最終的なランク付けリスト:問題、ギャップ、機会。各項目に証拠、UX修正案、パフォーマンス修正案を添付

0. 安全性

  • テストアカウントとテストデータを使用し、書き込みはサンドボックスのみで行ってください。本番ユーザーデータは読み取り専用です。
  • 氏名、メールアドレス、電話番号、ID、トークンを決して公開しないでください。events.json(URL、コンソールテキスト)を共有前にスクラブしてください。
  • 使い捨てのブラウザプロファイルを使用し、最後に閉じてください。

1. セッションを枠組みする(2分)

  • 実際のユーザーが訪れる 1つから3つのジョブ を、そのユーザーの言葉で名前付けします。例:「注文を探す」「顧客に返信する」「プランを変更する」。
  • UIに合わせて長さを選びます:1画面の場合 10~60秒、フロー全体の場合 2~5分。短く焦点を絞ったセッションが長いものより優れています。

2. 実際の非技術ユーザーのように振る舞う

  • 各動作の前に 意図を口に出して言う(say キャプション)。
  • 見えるものだけを使用する。 URLの直接入力、開発者ツール、隠しショートカットは使用しない。
  • まず明白な経路を試す。 それが失敗した場合、たとえ別の経路が機能しても、それが発見事項です。
  • 各アクションの後、すべてが一致していることを確認する: リスト、カウンター、ヘッダー、他のパネル、相手側のビュー。
  • 状態に負荷をかける。 リロード、戻る、新しいタブで開く、低速ネットワークの使用、電話幅(390×844)での表示。
  • 待ち時間に注意する。 あなたが待つなら、ユーザーも待ちます。

操作の方法は2つあります:

  • スクリプト駆動。 ステップを定義した scenario.json を使用します。再現可能で、同じファイルが修正後の回帰テストになります。
  • フリー操作。 {"url": "...", "freeSeconds": 90}。人間またはエージェントが手動でブラウザを操作しながら、すべてを記録します。探索に使用します。

3. 録画(ウェブ:Chrome DevTools Protocol、依存関係ゼロ)

chrome --remote-debugging-port=9222 --user-data-dir=/tmp/vua   # 使い捨てプロファイル
node scripts/record.mjs scenario.json --port 9222 --out ./audit-out
bash scripts/encode.sh ./audit-out                 # → audit.mp4
node scripts/timeline.mjs ./audit-out              # → timeline.md, signals.json, ai-pack/
node scripts/report.mjs ./audit-out --title "X"    # → findings.md(キャプション付き発見事項)

シナリオのステップ:goto、say、click(CSSセレクター、可視ポインター)、type(人間速度)、press、scroll、wait、problem(赤いキャプション、スクリーンショット、発見事項)。

他の環境も同じ方法を使用しますが、キャプチャ手段が異なります。 プラットフォームに関わらず、画面とそのプラットフォームのログ・ネットワークストリームを録画し、すべてを1つのクロックに揃えて、events.json として timeline.mjs に渡します:

プラットフォーム画面ログとネットワーク
iOSxcrun simctl io booted recordVideolog stream;プロキシ(mitmproxy)でネットワーク
Androidadb shell screenrecordadb logcat;プロキシでネットワーク
デスクトップ / ElectronOS画面キャプチャCDPポート(ウェブと同様)
ターミナル / CLIasciinemaタイムスタンプ付き stderr

4. 自動シグナル(自動検出されます。各シグナルを該当フレームで確認してください)

シグナル典型的な意味
js-exception, console-error壊れた機能。ユーザーには気付かれないことが多い
request-failed, http-5xx, http-4xxデータ欠落、間違った状態、不適切な権限
slow-request(≥ 1 秒、P1なら ≥ 3 秒)ユーザーが感じる待ち時間。キャッシュ、プリフェッチ、インデックスの候補
heavy-payload(≥ 500 KB)モバイルで遅い。ページネーション、圧縮、フィールドのトリミングを検討
duplicate-request(同一呼び出しが2秒以内)無駄な処理。重複排除またはキャッシュ
never-finishedハングしたリクエスト。タイムアウト不足、無限スピナー
long-task(≥ 200 ms、P1なら ≥ 500 ms)UIのフリーズ。処理の分割、仮想化、ワーカーへの移動
layout-shift(≥ 0.05、入力なし)コンテンツの跳ね。領域の予約

しきい値は --slow および --big オプションで変更できます。

5. 一括AIレビュー

AIに ai-pack/(キーフレーム、timeline.md、PROMPT.md)を渡します。AIは1回のパスで以下を返します:

  1. 問題(Issues):それぞれに重大度と証拠(フレームとそれを説明するタイムライン行)を添付。
  2. ギャップ(Gaps):行き止まり、フィードバック不足、不明瞭な状態、アフォーダンス不足、2つの画面間の不一致。
  3. 機会(Opportunities):削除・キャッシュ・プリフェッチすべきリクエスト、マージすべきステップ、設定すべきデフォルト値、トップ競合が優れている点。
  4. ランキング:すべてをユーザー影響度 ÷ 工数で順位付け。

ルール:証拠なし = 行なし。 すべての主張はフレームまたはイベントを引用します。

6. 重大度

  • P0:データ損失、誤った受信者、プライバシー/セキュリティ漏洩、またはコアジョブの実行不可能。
  • P1:コアジョブの破損または誤解を招く、アクションに1秒以上かかる、またはビューに3秒以上かかる、メインパスにJS例外が存在する、または2つの画面が矛盾する。
  • P2:摩擦、紛らわしい表現、外観上の問題、または無駄なリクエスト。

7. フィードバックループを閉じる

  • 最初にP0を修正し、次にP1を修正します。各発見事項に対して1つの小さな変更を行います。
  • 各修正後に 同じシナリオ を再実行します。新しいタイムラインが証拠です:シグナルが消え、タイミングが改善されています。before/afterを添付してください。
  • シナリオをライブラリとして保持します。リリース後に再実行することで、数秒で回帰を検出できます。

関連スキル