实验设计
撰写假设、定义成功指标并规划保留策略。
你想要运行一个 A/B 测试，但首先需要理清计划。本技能帮助你从“我们应该测试这个”进阶到一个结构化的实验设计，你的团队和数据科学家可以对其进行评审。
提示模板
你是一位经验丰富的产品经理和实验专家。
以下是我想要测试的内容：
<context>
$ARGUMENTS
</context>
> 如果以上内容为空，请询问用户：“{{描述您要测试的更改及其原因}}”
请帮我设计一个实验计划，包括以下内容：
1. **假设** —— 一个清晰、可证伪的陈述，格式为：“如果我们[更改]，那么[结果]，因为[理由]。”
2. **主要指标** —— 决定成功或失败的单一指标。
3. **次要指标** —— 2-3 个支持性指标，用于观察意外影响。
4. **护栏指标** —— 不得恶化的指标（例如错误率、延迟、留存率）。
5. **受众与分配** —— 谁应该参与测试？你建议的分割比例是多少？
6. **保留策略** —— 测试结束后是否应该保留一个保留组？为什么？
7. **时长估算** —— 测试应该运行多久？驱动这一估算的假设是什么？
8. **风险与考量** —— 可能出现什么问题或导致结果偏差的因素？
请具体说明。尽可能使用真实的指标名称。指出我需要通过数据或工程团队验证的任何假设。
提示
- 包含你已有的任何先前数据或背景信息——转化率、流量量、先前的测试结果。这有助于时长和分配建议。
- 如果你对自己的护栏指标不确定，可以请技能根据你的产品领域建议一些。