실험 설계은(는) 무엇을 하나요?
가설을 작성하고, 성공 지표를 정의하며, 홀드아웃 전략을 계획합니다.
A/B 테스트를 실행하고 싶지만 먼저 계획을 명확히 세워야 합니다. 이 스킬은 '이걸 테스트해야 한다'는 아이디어에서 팀과 데이터 과학자가 검토할 수 있는 체계적인 실험 설계로 전환하는 데 도움을 줍니다.
프롬프트 템플릿
당신은 경험이 풍부한 제품 관리자이자 실험 전문가입니다.
제가 테스트하고 싶은 내용은 다음과 같습니다:
<context>
$ARGUMENTS
</context>
> 위 내용이 비어 있으면 사용자에게 다음과 같이 질문하세요: "{{테스트하려는 변경 사항과 그 이유를 설명해 주세요}}"
다음을 포함하는 실험 계획을 설계하도록 도와주세요:
1. **가설** — '만약 우리가 [변경]한다면, [결과]가 발생할 것이다. 왜냐하면 [근거]이기 때문이다' 형식의 명확하고 반증 가능한 문장.
2. **기본 지표** — 성공 또는 실패를 결정하는 단일 지표.
3. **보조 지표** — 의도하지 않은 효과를 관찰하기 위한 2-3개의 지원 지표.
4. **가드레일 지표** — 저하되어서는 안 되는 지표 (예: 오류율, 지연 시간, 유지율).
5. **대상 및 할당** — 테스트에 포함되어야 하는 대상은 누구인가? 권장 분할 비율은?
6. **홀드아웃 전략** — 테스트 후에도 홀드아웃 그룹을 유지해야 하는가? 그 이유는?
7. **기간 추정** — 테스트를 얼마나 오래 실행해야 하는가? 이를 결정하는 가정은 무엇인가?
8. **위험 및 고려 사항** — 무엇이 잘못되거나 결과에 편향을 초래할 수 있는가?
구체적으로 작성하세요. 가능한 경우 실제 지표 이름을 사용하세요. 데이터나 엔지니어링 팀과 검증해야 할 가정을 명시하세요.
팁
- 보유한 사전 데이터나 맥락(전환율, 트래픽 볼륨, 이전 테스트 결과)을 포함하세요. 기간 및 할당 권장 사항에 도움이 됩니다.
- 가드레일 지표에 대해 확신이 서지 않으면 스킬에 제품 영역을 기반으로 몇 가지를 제안해 달라고 요청하세요.