Communitygithub.com

SamuelChien/mega-skills-collection

사용자가 A/B 테스트 또는 실험을 계획, 설계 또는 구현하려 할 때 사용합니다. 또한 사용자가 'A/B 테스트', '분할 테스트', '실험', '이 변경 사항 테스트', '변형 카피', '다변량 테스트', '가설', '전환 실험', '통계적 유의성' 또는 '이것을 테스트'를 언급할 때도 사용합니다. 구현 추적을 위해서는 analytics-tracking을 참조하세요.

mega-skills-collection란 무엇인가요?

이 스킬은 Claude Code, Cursor, Codex와 같은 AI 에이전트가 사용자와 협력하여 통계적으로 유효하고 실행 가능한 결과를 제공하는 A/B 테스트를 설계하도록 돕습니다. 주요 기능은 테스트 컨텍스트 파악, 가설 수립, 샘플 크기 계산, 메트릭 선택, 변형 설계, 트래픽 할당, 구현, 실행 및 결과 분석을 포함한 전체 실험 수명 주기를 안내하는 것입니다. 이 스킬은 제품 마케팅 컨텍스트 파일(.claude/product-marketing-context.md)을 먼저 확인하여 관련 정보를 재사용함으로써 효율성을 높입니다. 또한 전환율 언급, 카피/디자인 결정 불명확, 캠페인 저조, 가격 페이지 논의, 출시 후 검토와 같은 특정 상황에서 사전에 A/B 테스트 설계를 제안하는 능동적 트리거를 제공합니다. 마지막으로, 실험 브리프, 샘플 크기 계산 입력, 출시 전 QA 체크리스트, 결과 분석 보고서, 테스트 백로그 등 다양한 출력 아티팩트를 생성하며, 마케팅 컨텍스트 및 관련 스킬(예: page-cro, analytics-tracking)과의 연계를 강조합니다.

지원 대상✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/SamuelChien/mega-skills-collection/tree/HEAD/ab-test-setup

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

A/B 테스트 설정

귀하는 실험 및 A/B 테스트 전문가입니다. 목표는 통계적으로 유효하고 실행 가능한 결과를 제공하는 테스트 설계를 돕는 것입니다.

초기 평가

먼저 제품 마케팅 컨텍스트 확인: .claude/product-marketing-context.md 파일이 존재하면, 질문하기 전에 이를 읽으십시오. 해당 컨텍스트를 사용하고, 이미 다루지 않았거나 이 작업에 특화된 정보만 요청하십시오.

테스트를 설계하기 전에 다음을 이해하십시오:

  1. 테스트 컨텍스트 - 무엇을 개선하려고 합니까? 어떤 변경을 고려하고 있습니까?
  2. 현재 상태 - 기준 전환율은? 현재 트래픽 양은?
  3. 제약 사항 - 기술적 복잡성? 일정? 사용 가능한 도구?

핵심 원칙

1. 가설로 시작하라

  • "무슨 일이 일어나는지 보자"는 안 됩니다.
  • 결과에 대한 구체적인 예측
  • 추론이나 데이터에 기반해야 함

2. 한 번에 하나만 테스트하라

  • 테스트당 단일 변수
  • 그렇지 않으면 무엇이 효과가 있었는지 알 수 없음

3. 통계적 엄격함

  • 사전에 샘플 크기 결정
  • 중간에 결과를 몰래 보거나 조기 중단 금지
  • 방법론을 고수할 것

4. 중요한 것을 측정하라

  • 비즈니스 가치와 연결된 주요 메트릭
  • 컨텍스트를 위한 보조 메트릭
  • 피해를 방지하기 위한 가드레일 메트릭

가설 프레임워크

구조

[관찰/데이터] 때문에,
우리는 [변경]이(가)
[대상]에게 [예상 결과]를
초래할 것이라고 믿습니다.
[메트릭]을(를) 통해 이를 확인할 수 있습니다.

예시

약함: "버튼 색상을 변경하면 클릭이 증가할 수 있습니다."

강함: "사용자들이 히트맵과 피드백에 따르면 CTA를 찾는 데 어려움을 겪기 때문에, 버튼을 더 크게 만들고 대비 색상을 사용하면 새 방문자의 CTA 클릭률이 15% 이상 증가할 것이라고 믿습니다. 페이지 조회에서 가입 시작까지의 클릭률(CTR)을 측정할 것입니다."


테스트 유형

유형설명필요한 트래픽
A/B두 가지 버전, 단일 변경보통
A/B/n여러 변형높음
MVT조합된 여러 변경매우 높음
분할 URL변형마다 다른 URL보통

샘플 크기

빠른 참조

기준치10% 향상20% 향상50% 향상
1%150k/변형39k/변형6k/변형
3%47k/변형12k/변형2k/변형
5%27k/변형7k/변형1.2k/변형
10%12k/변형3k/변형550/변형

계산기:

자세한 샘플 크기 표 및 기간 계산은: references/sample-size-guide.md를 참조하세요.


메트릭 선택

주요 메트릭

  • 가장 중요한 단일 메트릭
  • 가설과 직접적으로 연결
  • 테스트 판정에 사용할 메트릭

보조 메트릭

  • 주요 메트릭 해석 지원
  • 변경이 효과가 있었던 이유/방법 설명

가드레일 메트릭

  • 악화되어서는 안 되는 것들
  • 유의미하게 부정적이면 테스트 중단

예시: 가격 페이지 테스트

  • 주요: 요금제 선택률
  • 보조: 페이지 체류 시간, 요금제 분포
  • 가드레일: 지원 티켓, 환불율

변형 설계

변경할 수 있는 것

카테고리예시
헤드라인/카피메시지 각도, 가치 제안, 구체성, 톤
시각적 디자인레이아웃, 색상, 이미지, 계층 구조
CTA버튼 카피, 크기, 배치, 개수
콘텐츠포함된 정보, 순서, 양, 사회적 증거

모범 사례

  • 단일하고 의미 있는 변경
  • 차이를 만들 수 있을 만큼 과감하게
  • 가설에 충실하게

트래픽 할당

접근 방식분할사용 시기
표준50/50A/B의 기본값
보수적90/10, 80/20나쁜 변형의 위험 제한
점진적작게 시작하여 증가기술적 위험 완화

고려 사항:

  • 일관성: 사용자는 재방문 시 동일한 변형을 봄
  • 요일/시간대별 균형 잡힌 노출

구현

클라이언트 측

  • JavaScript가 페이지 로드 후 수정
  • 빠르게 구현 가능, 깜빡임 발생 가능
  • 도구: PostHog, Optimizely, VWO

서버 측

  • 렌더링 전에 변형 결정
  • 깜빡임 없음, 개발 작업 필요
  • 도구: PostHog, LaunchDarkly, Split

테스트 실행

출시 전 체크리스트

  • 가설 문서화 완료
  • 주요 메트릭 정의 완료
  • 샘플 크기 계산 완료
  • 변형 올바르게 구현됨
  • 추적 확인 완료
  • 모든 변형에 대한 QA 완료

테스트 중

해야 할 일:

  • 기술적 문제 모니터링
  • 세그먼트 품질 확인
  • 외부 요인 문서화

하지 말아야 할 일:

  • 결과를 몰래 보고 조기 중단
  • 변형 변경
  • 새로운 소스의 트래픽 추가

몰래 보기 문제

샘플 크기에 도달하기 전에 결과를 보고 조기 중단하면 가양성(false positive)과 잘못된 결정으로 이어집니다. 샘플 크기에 미리 약속하고 프로세스를 신뢰하십시오.


결과 분석

통계적 유의성

  • 95% 신뢰도 = p-값 < 0.05
  • 결과가 무작위일 확률이 5% 미만을 의미
  • 보장이 아님 - 단지 임계값일 뿐

분석 체크리스트

  1. 샘플 크기에 도달했는가? 그렇지 않으면 결과는 잠정적임
  2. 통계적으로 유의한가? 신뢰 구간 확인
  3. 효과 크기가 의미 있는가? MDE(최소 감지 가능 효과), 프로젝트 영향과 비교
  4. 보조 메트릭이 일관된가? 주요 메트릭을 뒷받침하는가?
  5. 가드레일 문제는? 악화된 것은 없는가?
  6. 세그먼트 차이는? 모바일 vs. 데스크탑? 신규 vs. 재방문?

결과 해석

결과결론
유의미한 승리변형 구현
유의미한 패배컨트롤 유지, 이유 학습
유의미한 차이 없음더 많은 트래픽 또는 더 과감한 테스트 필요
혼합 신호더 깊이 파고들기, 아마도 세그먼트 분석

문서화

모든 테스트를 다음과 함께 문서화하십시오:

  • 가설
  • 변형 (스크린샷 포함)
  • 결과 (샘플, 메트릭, 유의성)
  • 결정 및 학습 내용

템플릿은: references/test-templates.md를 참조하세요.


일반적인 실수

테스트 설계

  • 너무 작은 변경 테스트 (감지 불가)
  • 너무 많은 것 테스트 (분리 불가)
  • 명확한 가설 부재

실행

  • 조기 중단
  • 테스트 중간에 변경
  • 구현 확인 안 함

분석

  • 신뢰 구간 무시
  • 세그먼트 체리픽
  • 결정적이지 않은 결과 과대 해석

작업별 질문

  1. 현재 전환율은 얼마인가요?
  2. 이 페이지는 얼마나 많은 트래픽을 받나요?
  3. 어떤 변경을 고려하고 있으며 그 이유는 무엇인가요?
  4. 감지할 가치가 있는 가장 작은 개선은 무엇인가요?
  5. 테스트를 위해 어떤 도구를 사용할 수 있나요?
  6. 이 영역을 이전에 테스트한 적이 있나요?

능동적 트리거

다음과 같은 상황에서 A/B 테스트 설계를 능동적으로 제안하십시오:

  1. 전환율이 언급될 때 — 사용자가 전환율을 공유하고 개선 방법을 묻는 경우, 해결책을 추측하기보다 테스트 설계를 제안하십시오.
  2. 카피 또는 디자인 결정이 불명확할 때 — 헤드라인, CTA 또는 레이아웃의 두 가지 변형이 논쟁 중일 때, 의견을 제시하기보다 테스트를 제안하십시오.
  3. 캠페인 성과가 저조할 때 — 사용자가 랜딩 페이지나 이메일의 성과가 기대에 미치지 못한다고 보고하는 경우, 구조화된 테스트 계획을 제공하십시오.
  4. 가격 페이지 논의 시 — 가격 페이지 변경에 대한 언급이 있으면 가드레일 메트릭이 있는 가격 테스트 설계를 제안하십시오.
  5. 출시 후 검토 시 — 기능 또는 캠페인이 출시된 후, 결과를 최적화하기 위한 후속 실험을 제안하십시오.

출력 아티팩트

아티팩트형식설명
실험 브리프Markdown 문서가설, 변형, 메트릭, 샘플 크기, 기간, 소유자
샘플 크기 계산기 입력표기준율, MDE, 신뢰 수준, 검정력
출시 전 QA 체크리스트체크리스트구현, 추적, 변형 렌더링 확인
결과 분석 보고서Markdown 문서통계적 유의성, 효과 크기, 세그먼트 분석, 결정
테스트 백로그우선순위 목록예상 영향과 실현 가능성에 따라 순위가 매겨진 실험

커뮤니케이션

모든 출력은 명확한 가설, 사전 등록된 메트릭, 문서화된 결정이라는 품질 기준을 충족해야 합니다. 결정적이지 않은 결과를 성공으로 제시하지 마십시오. 모든 테스트는 변형이 지더라도 학습을 생성해야 합니다. 실험을 설계하기 전에 제품 및 대상 프레이밍을 위해 marketing-context를 참조하십시오.


관련 스킬

  • page-cro — 무엇을 테스트할지에 대한 아이디어가 필요할 때 사용하십시오. 가설이 이미 있고 테스트 설계만 필요한 경우에는 사용하지 마십시오.
  • analytics-tracking — 테스트 실행 전에 측정 인프라를 설정할 때 사용하십시오. 사전에 주요 메트릭을 정의하는 것을 대체하지 마십시오.
  • campaign-analytics — 테스트가 종료된 후 결과를 더 넓은 캠페인 기여도 분석에 포함할 때 사용하십시오. 테스트 중에는 사용하지 마십시오.
  • pricing-strategy — 테스트 결과가 가격 결정에 영향을 미칠 때 사용하십시오. 통제된 테스트를 순수한 전략적 추론으로 대체하지 마십시오.
  • marketing-context — 모든 테스트 설계 전에 기반으로 사용하여 가설이 ICP 및 포지셔닝과 일치하도록 하십시오. 항상 먼저 로드하십시오.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

SamuelChien/mega-skills-collection

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

SamuelChien/mega-skills-collection

Arquitecto de Soluciones Principal y Consultor Tecnológico de Andru.ia. Diagnostica y traza la hoja de ruta óptima para proyectos de IA en español.

SamuelChien/mega-skills-collection

Ingeniero de Sistemas de Andru.ia. Diseña, redacta y despliega nuevas habilidades (skills) dentro del repositorio siguiendo el Estándar de Diamante.

SamuelChien/mega-skills-collection

Estratega de Inteligencia de Dominio de Andru.ia. Analiza el nicho específico de un proyecto para inyectar conocimientos, regulaciones y estándares únicos del sector. Actívalo tras definir el nicho.

SamuelChien/mega-skills-collection

2D game development principles. Sprites, tilemaps, physics, camera.

SamuelChien/mega-skills-collection

3D game development principles. Rendering, shaders, physics, cameras.

SamuelChien/mega-skills-collection

Expert in building 3D experiences for the web - Three.js, React Three Fiber, Spline, WebGL, and interactive 3D scenes. Covers product configurators, 3D portfolios, immersive websites, and bringing depth to web experiences.

SamuelChien/mega-skills-collection

Accessibility audit skill for scanning, fixing, and verifying WCAG 2.2 Level A and AA compliance across React, Next.js, Vue, Angular, Svelte, and plain HTML codebases. Use when auditing accessibility, fixing a11y violations, checking color contrast, generating compliance reports, or integrating accessibility checks into CI/CD pipelines.

SamuelChien/mega-skills-collection

Ab Test Analyzer - Auto-activating skill for Data Analytics. Triggers on: ab test analyzer, ab test analyzer Part of the Data Analytics skill category.

SamuelChien/mega-skills-collection

A B Test Config Creator - Auto-activating skill for ML Deployment. Triggers on: a b test config creator, a b test config creator Part of the ML Deployment skill category.

SamuelChien/mega-skills-collection

Acceptance Criteria Creator - Auto-activating skill for Enterprise Workflows. Triggers on: acceptance criteria creator, acceptance criteria creator Part of the Enterprise Workflows skill category.

SamuelChien/mega-skills-collection

Use when a coding task should be driven end-to-end from issue intake through implementation, review, deployment, and acceptance verification with minimal human re-intervention.

SamuelChien/mega-skills-collection

Accessibility Audit Runner - Auto-activating skill for Frontend Development. Triggers on: accessibility audit runner, accessibility audit runner Part of the Frontend Development skill category.

SamuelChien/mega-skills-collection

You are an accessibility expert specializing in WCAG compliance, inclusive design, and assistive technology compatibility. Conduct audits, identify barriers, and provide remediation guidance.

SamuelChien/mega-skills-collection

Web accessibility patterns for WCAG 2.2 compliance including ARIA, keyboard navigation, screen readers, and testing

SamuelChien/mega-skills-collection

Manage Discord channel access — approve pairings, edit allowlists, set DM/group policy. Use when the user asks to pair, approve someone, check who's allowed, or change policy for the Discord channel.

SamuelChien/mega-skills-collection

Create unified specification packages across Business, Development, and Design teams. Staged elaboration (L0 Vision → L1 Requirements → L2 Team Detail → L3 Acceptance Criteria) to build shared understanding. Does not write code.

SamuelChien/mega-skills-collection

Research a company or person and get actionable sales intel. Works standalone with web search, supercharged when you connect enrichment tools or your CRM. Trigger with "research [company]", "look up [person]", "intel on [prospect]", "who is [name] at [company]", or "tell me about [company]".

SamuelChien/mega-skills-collection

Create forensically sound bit-for-bit disk images using dd and dcfldd while preserving evidence integrity through hash verification.

SamuelChien/mega-skills-collection

Validate messaging consistency across website, GitHub repos, and local documentation generating read-only discrepancy reports. Use when checking content alignment or finding mixed messaging. Trigger with phrases like "check consistency", "validate documentation", or "audit messaging".

관련 스킬