비디오 + 타임라인 UX 감사
아이디어: 실제 사용의 몇 초에서 몇 분 사이에 이미 대부분의 문제가 드러납니다. 문제가 발생하는 이유는 사용자가 시도한 것, 화면에 보여준 것, 코드가 기록한 것, 네트워크가 수행한 것을 한꺼번에 보지 못하기 때문입니다. 이 방법은 이 모든 것을 하나의 클록에 기록하여, 모든 프레임이 해당 이벤트로 설명되고 모든 이벤트가 해당 프레임에서 확인될 수 있도록 합니다. 그런 다음 AI가 전체 그림을 한 번에 읽습니다.
출력물
| 파일 | 설명 |
|---|---|
audit.mp4 | 세션 녹화 영상, 캡션 포함: 검은색은 의도, 빨간색은 각 문제 |
events.json | 모든 액션, 캡션, 콘솔 메시지, 예외, 요청(상태, ms, 바이트, 실패), 긴 작업, 레이아웃 변경, 비디오 클록 타임스탬프와 함께 |
timeline.md | 융합된 타임라인, 자동 감지된 신호 포함, 각 신호가 발생한 프레임에 연결됨 |
ai-pack/ | 비디오 시간별 키프레임, timeline.md 및 PROMPT.md 포함, 모든 멀티모달 LLM이 한 번에 검토할 준비 완료 |
findings.md | 최종 순위 목록: 문제, 격차 및 기회, 각각 증거, UX 수정 및 성능 수정 포함 |
0. 안전
- 테스트 계정과 테스트 데이터를 사용하고, 샌드박스에서만 쓰기 작업을 수행하세요. 실제 사용자 데이터는 읽기 전용입니다.
- 이름, 이메일, 전화번호, ID 또는 토큰을 절대 게시하지 마세요. 공유하기 전에
events.json(URL, 콘솔 텍스트)을 정리하세요. - 일회용 브라우저 프로필을 사용하고, 마지막에 닫으세요.
1. 세션 구성 (2분)
- 실제 사용자가 원하는 하나에서 세 가지의 작업을 사용자의 언어로 지정하세요. 예: "주문 찾기", "고객에게 답장", "내 요금제 변경".
- UI에 맞는 길이를 선택하세요: 단일 화면은 10~60초, 전체 플로우는 2~5분. 짧고 집중된 세션이 긴 세션보다 효과적입니다.
2. 실제 비기술적인 사람처럼 행동하세요
- 각 이동 전에 의도를 말하세요 (
say캡션). - 보이는 것만 사용하세요. URL 직접 입력, 개발자 도구, 숨겨진 단축키는 사용하지 마세요.
- 가장 명확한 경로를 먼저 시도하세요. 실패하면 다른 경로가 작동하더라도 그 자체가 발견 항목입니다.
- 매 작업 후, 모든 것이 일치하는지 확인하세요: 목록, 카운터, 헤더, 다른 패널, 상대방의 보기.
- 상태를 스트레스 테스트하세요. 새로고침, 뒤로 가기, 새 탭에서 열기, 느린 네트워크 사용, 휴대폰 너비(390×844) 사용.
- 대기 시간을 기록하세요. 기다리면 사용자도 기다립니다.
두 가지 방식으로 진행할 수 있습니다:
- 스크립트 기반. 단계가 있는
scenario.json파일. 반복 가능하며, 수정 후 동일한 파일이 회귀 테스트 증거가 됩니다. - 자유 탐색.
{"url": "...", "freeSeconds": 90}. 사람이나 에이전트가 브라우저를 직접 조작하면서 모든 것이 기록됩니다. 탐색에 사용합니다.
3. 녹화 (웹: Chrome DevTools Protocol, 의존성 없음)
chrome --remote-debugging-port=9222 --user-data-dir=/tmp/vua # 일회용 프로필
node scripts/record.mjs scenario.json --port 9222 --out ./audit-out
bash scripts/encode.sh ./audit-out # → audit.mp4
node scripts/timeline.mjs ./audit-out # → timeline.md, signals.json, ai-pack/
node scripts/report.mjs ./audit-out --title "X" # → findings.md (캡션 포함 발견 항목)
시나리오 단계: goto, say, click (CSS 선택자, 가시적 포인터 포함), type (인간 속도), press, scroll, wait, problem (빨간 캡션, 스크린샷 및 발견 항목).
다른 환경은 동일한 방법을 다른 캡처 방식으로 사용합니다. 플랫폼에 관계없이 화면과 플랫폼의 로그 및 네트워크 스트림을 기록하고, 모두 동일한 클록에 배치한 후 timeline.mjs에 events.json으로 전달합니다:
| 플랫폼 | 화면 | 로그 및 네트워크 |
|---|---|---|
| iOS | xcrun simctl io booted recordVideo | log stream; 프록시(mitmproxy) |
| Android | adb shell screenrecord | adb logcat; 프록시 |
| 데스크톱 / Electron | OS 화면 캡처 | CDP 포트 (웹과 동일) |
| 터미널 / CLI | asciinema | 타임스탬프가 있는 stderr |
4. 자동 신호 (자동으로 찾아드리며, 각 신호를 해당 프레임과 함께 검증하세요)
| 신호 | 일반적인 의미 |
|---|---|
| js-exception, console-error | 종종 사용자에게 조용히 일어나는 기능 장애 |
| request-failed, http-5xx, http-4xx | 데이터 누락, 잘못된 상태, 잘못된 권한 |
| slow-request (≥ 1초, P1은 ≥ 3초) | 사용자가 느끼는 대기 시간, 캐시, 프리페치 또는 인덱스 후보 |
| heavy-payload (≥ 500KB) | 모바일에서 느림, 페이지네이션, 압축 또는 필드 트리밍 필요 |
| duplicate-request (2초 내 동일 호출) | 낭비되는 작업, 중복 제거 또는 캐시 필요 |
| never-finished | 중단된 요청, 타임아웃 누락, 무한 스피너 |
| long-task (≥ 200ms, P1은 ≥ 500ms) | UI 프리즈, 작업 분할, 가상화, 워커로 이동 |
| layout-shift (≥ 0.05, 입력 없음) | 콘텐츠 점프, 공간 예약 필요 |
--slow 및 --big 플래그로 임계값을 변경할 수 있습니다.
5. 일회성 AI 검토
AI에 ai-pack/(키프레임, timeline.md 및 PROMPT.md)를 제공하세요. AI는 한 번에 다음을 반환합니다:
- 문제점, 각각 심각도 및 증거 첨부: 해당 프레임과 설명하는 타임라인 줄.
- 격차: 막다른 길, 누락된 피드백, 불명확한 상태, 누락된 어포던스, 서로 다른 두 화면의 불일치.
- 기회: 제거, 캐시 또는 프리페치할 요청; 병합할 단계; 설정할 기본값; 최고 경쟁사가 더 잘하는 것.
- 사용자 영향도 대비 노력으로 정렬된 모든 항목의 순위.
규칙: 증거 없음, 항목 없음. 모든 주장은 프레임 또는 이벤트를 인용합니다.
6. 심각도
- P0: 데이터 손실, 잘못된 수신자, 개인정보 또는 보안 유출, 핵심 작업 불가능.
- P1: 핵심 작업이 고장났거나 오해의 소지가 있음; 액션이 1초 이상 또는 뷰가 3초 이상; 메인 경로에 JS 예외 존재; 두 화면 간 불일치.
- P2: 마찰, 혼란스러운 문구, 미용상의 문제, 또는 낭비되는 요청.
7. 피드백 종료
- P0을 먼저 수정한 후 P1을 수정하세요, 발견 항목당 하나의 작은 변경으로.
- 각 수정 후 동일한 시나리오를 다시 실행하세요. 새로운 타임라인이 증거입니다: 신호가 사라지고 타이밍이 개선되었습니다. 전후를 첨부하세요.
- 시나리오를 라이브러리로 유지하세요. 각 릴리스 후 다시 실행하면 몇 초 만에 회귀를 찾을 수 있습니다.