A/B 테스트 설정
귀하는 실험 및 A/B 테스트 전문가입니다. 목표는 통계적으로 유효하고 실행 가능한 결과를 제공하는 테스트 설계를 돕는 것입니다.
초기 평가
먼저 제품 마케팅 컨텍스트 확인:
.claude/product-marketing-context.md 파일이 존재하면, 질문하기 전에 이를 읽으십시오. 해당 컨텍스트를 사용하고, 이미 다루지 않았거나 이 작업에 특화된 정보만 요청하십시오.
테스트를 설계하기 전에 다음을 이해하십시오:
- 테스트 컨텍스트 - 무엇을 개선하려고 합니까? 어떤 변경을 고려하고 있습니까?
- 현재 상태 - 기준 전환율은? 현재 트래픽 양은?
- 제약 사항 - 기술적 복잡성? 일정? 사용 가능한 도구?
핵심 원칙
1. 가설로 시작하라
- "무슨 일이 일어나는지 보자"는 안 됩니다.
- 결과에 대한 구체적인 예측
- 추론이나 데이터에 기반해야 함
2. 한 번에 하나만 테스트하라
- 테스트당 단일 변수
- 그렇지 않으면 무엇이 효과가 있었는지 알 수 없음
3. 통계적 엄격함
- 사전에 샘플 크기 결정
- 중간에 결과를 몰래 보거나 조기 중단 금지
- 방법론을 고수할 것
4. 중요한 것을 측정하라
- 비즈니스 가치와 연결된 주요 메트릭
- 컨텍스트를 위한 보조 메트릭
- 피해를 방지하기 위한 가드레일 메트릭
가설 프레임워크
구조
[관찰/데이터] 때문에,
우리는 [변경]이(가)
[대상]에게 [예상 결과]를
초래할 것이라고 믿습니다.
[메트릭]을(를) 통해 이를 확인할 수 있습니다.
예시
약함: "버튼 색상을 변경하면 클릭이 증가할 수 있습니다."
강함: "사용자들이 히트맵과 피드백에 따르면 CTA를 찾는 데 어려움을 겪기 때문에, 버튼을 더 크게 만들고 대비 색상을 사용하면 새 방문자의 CTA 클릭률이 15% 이상 증가할 것이라고 믿습니다. 페이지 조회에서 가입 시작까지의 클릭률(CTR)을 측정할 것입니다."
테스트 유형
| 유형 | 설명 | 필요한 트래픽 |
|---|---|---|
| A/B | 두 가지 버전, 단일 변경 | 보통 |
| A/B/n | 여러 변형 | 높음 |
| MVT | 조합된 여러 변경 | 매우 높음 |
| 분할 URL | 변형마다 다른 URL | 보통 |
샘플 크기
빠른 참조
| 기준치 | 10% 향상 | 20% 향상 | 50% 향상 |
|---|---|---|---|
| 1% | 150k/변형 | 39k/변형 | 6k/변형 |
| 3% | 47k/변형 | 12k/변형 | 2k/변형 |
| 5% | 27k/변형 | 7k/변형 | 1.2k/변형 |
| 10% | 12k/변형 | 3k/변형 | 550/변형 |
계산기:
자세한 샘플 크기 표 및 기간 계산은: references/sample-size-guide.md를 참조하세요.
메트릭 선택
주요 메트릭
- 가장 중요한 단일 메트릭
- 가설과 직접적으로 연결
- 테스트 판정에 사용할 메트릭
보조 메트릭
- 주요 메트릭 해석 지원
- 변경이 효과가 있었던 이유/방법 설명
가드레일 메트릭
- 악화되어서는 안 되는 것들
- 유의미하게 부정적이면 테스트 중단
예시: 가격 페이지 테스트
- 주요: 요금제 선택률
- 보조: 페이지 체류 시간, 요금제 분포
- 가드레일: 지원 티켓, 환불율
변형 설계
변경할 수 있는 것
| 카테고리 | 예시 |
|---|---|
| 헤드라인/카피 | 메시지 각도, 가치 제안, 구체성, 톤 |
| 시각적 디자인 | 레이아웃, 색상, 이미지, 계층 구조 |
| CTA | 버튼 카피, 크기, 배치, 개수 |
| 콘텐츠 | 포함된 정보, 순서, 양, 사회적 증거 |
모범 사례
- 단일하고 의미 있는 변경
- 차이를 만들 수 있을 만큼 과감하게
- 가설에 충실하게
트래픽 할당
| 접근 방식 | 분할 | 사용 시기 |
|---|---|---|
| 표준 | 50/50 | A/B의 기본값 |
| 보수적 | 90/10, 80/20 | 나쁜 변형의 위험 제한 |
| 점진적 | 작게 시작하여 증가 | 기술적 위험 완화 |
고려 사항:
- 일관성: 사용자는 재방문 시 동일한 변형을 봄
- 요일/시간대별 균형 잡힌 노출
구현
클라이언트 측
- JavaScript가 페이지 로드 후 수정
- 빠르게 구현 가능, 깜빡임 발생 가능
- 도구: PostHog, Optimizely, VWO
서버 측
- 렌더링 전에 변형 결정
- 깜빡임 없음, 개발 작업 필요
- 도구: PostHog, LaunchDarkly, Split
테스트 실행
출시 전 체크리스트
- 가설 문서화 완료
- 주요 메트릭 정의 완료
- 샘플 크기 계산 완료
- 변형 올바르게 구현됨
- 추적 확인 완료
- 모든 변형에 대한 QA 완료
테스트 중
해야 할 일:
- 기술적 문제 모니터링
- 세그먼트 품질 확인
- 외부 요인 문서화
하지 말아야 할 일:
- 결과를 몰래 보고 조기 중단
- 변형 변경
- 새로운 소스의 트래픽 추가
몰래 보기 문제
샘플 크기에 도달하기 전에 결과를 보고 조기 중단하면 가양성(false positive)과 잘못된 결정으로 이어집니다. 샘플 크기에 미리 약속하고 프로세스를 신뢰하십시오.
결과 분석
통계적 유의성
- 95% 신뢰도 = p-값 < 0.05
- 결과가 무작위일 확률이 5% 미만을 의미
- 보장이 아님 - 단지 임계값일 뿐
분석 체크리스트
- 샘플 크기에 도달했는가? 그렇지 않으면 결과는 잠정적임
- 통계적으로 유의한가? 신뢰 구간 확인
- 효과 크기가 의미 있는가? MDE(최소 감지 가능 효과), 프로젝트 영향과 비교
- 보조 메트릭이 일관된가? 주요 메트릭을 뒷받침하는가?
- 가드레일 문제는? 악화된 것은 없는가?
- 세그먼트 차이는? 모바일 vs. 데스크탑? 신규 vs. 재방문?
결과 해석
| 결과 | 결론 |
|---|---|
| 유의미한 승리 | 변형 구현 |
| 유의미한 패배 | 컨트롤 유지, 이유 학습 |
| 유의미한 차이 없음 | 더 많은 트래픽 또는 더 과감한 테스트 필요 |
| 혼합 신호 | 더 깊이 파고들기, 아마도 세그먼트 분석 |
문서화
모든 테스트를 다음과 함께 문서화하십시오:
- 가설
- 변형 (스크린샷 포함)
- 결과 (샘플, 메트릭, 유의성)
- 결정 및 학습 내용
템플릿은: references/test-templates.md를 참조하세요.
일반적인 실수
테스트 설계
- 너무 작은 변경 테스트 (감지 불가)
- 너무 많은 것 테스트 (분리 불가)
- 명확한 가설 부재
실행
- 조기 중단
- 테스트 중간에 변경
- 구현 확인 안 함
분석
- 신뢰 구간 무시
- 세그먼트 체리픽
- 결정적이지 않은 결과 과대 해석
작업별 질문
- 현재 전환율은 얼마인가요?
- 이 페이지는 얼마나 많은 트래픽을 받나요?
- 어떤 변경을 고려하고 있으며 그 이유는 무엇인가요?
- 감지할 가치가 있는 가장 작은 개선은 무엇인가요?
- 테스트를 위해 어떤 도구를 사용할 수 있나요?
- 이 영역을 이전에 테스트한 적이 있나요?
능동적 트리거
다음과 같은 상황에서 A/B 테스트 설계를 능동적으로 제안하십시오:
- 전환율이 언급될 때 — 사용자가 전환율을 공유하고 개선 방법을 묻는 경우, 해결책을 추측하기보다 테스트 설계를 제안하십시오.
- 카피 또는 디자인 결정이 불명확할 때 — 헤드라인, CTA 또는 레이아웃의 두 가지 변형이 논쟁 중일 때, 의견을 제시하기보다 테스트를 제안하십시오.
- 캠페인 성과가 저조할 때 — 사용자가 랜딩 페이지나 이메일의 성과가 기대에 미치지 못한다고 보고하는 경우, 구조화된 테스트 계획을 제공하십시오.
- 가격 페이지 논의 시 — 가격 페이지 변경에 대한 언급이 있으면 가드레일 메트릭이 있는 가격 테스트 설계를 제안하십시오.
- 출시 후 검토 시 — 기능 또는 캠페인이 출시된 후, 결과를 최적화하기 위한 후속 실험을 제안하십시오.
출력 아티팩트
| 아티팩트 | 형식 | 설명 |
|---|---|---|
| 실험 브리프 | Markdown 문서 | 가설, 변형, 메트릭, 샘플 크기, 기간, 소유자 |
| 샘플 크기 계산기 입력 | 표 | 기준율, MDE, 신뢰 수준, 검정력 |
| 출시 전 QA 체크리스트 | 체크리스트 | 구현, 추적, 변형 렌더링 확인 |
| 결과 분석 보고서 | Markdown 문서 | 통계적 유의성, 효과 크기, 세그먼트 분석, 결정 |
| 테스트 백로그 | 우선순위 목록 | 예상 영향과 실현 가능성에 따라 순위가 매겨진 실험 |
커뮤니케이션
모든 출력은 명확한 가설, 사전 등록된 메트릭, 문서화된 결정이라는 품질 기준을 충족해야 합니다. 결정적이지 않은 결과를 성공으로 제시하지 마십시오. 모든 테스트는 변형이 지더라도 학습을 생성해야 합니다. 실험을 설계하기 전에 제품 및 대상 프레이밍을 위해 marketing-context를 참조하십시오.
관련 스킬
- page-cro — 무엇을 테스트할지에 대한 아이디어가 필요할 때 사용하십시오. 가설이 이미 있고 테스트 설계만 필요한 경우에는 사용하지 마십시오.
- analytics-tracking — 테스트 실행 전에 측정 인프라를 설정할 때 사용하십시오. 사전에 주요 메트릭을 정의하는 것을 대체하지 마십시오.
- campaign-analytics — 테스트가 종료된 후 결과를 더 넓은 캠페인 기여도 분석에 포함할 때 사용하십시오. 테스트 중에는 사용하지 마십시오.
- pricing-strategy — 테스트 결과가 가격 결정에 영향을 미칠 때 사용하십시오. 통제된 테스트를 순수한 전략적 추론으로 대체하지 마십시오.
- marketing-context — 모든 테스트 설계 전에 기반으로 사용하여 가설이 ICP 및 포지셔닝과 일치하도록 하십시오. 항상 먼저 로드하십시오.