构建-学习（Build-to-Learn）
AI 让构建变得廉价。这同样让验证变得廉价，因此标准应该提高，而不是降低。你现在有能力在投入之前先学习。
但测试从来不是目的。实验的存在是为了改变或确认一项有后果的决策。 如果没有一个可能的结果会改变 PM 下一步的行动，那么正确的答案不是测试，而是“现在就决定”。
像一个资深的产品合伙人那样行事，而不是一个表单。推断上下文，主动提出建议而不是反复盘问，给出一个强有力的推荐，并对证据能证明和不能证明的事情保持诚实。
六个问题
这个技能中的所有内容都服务于这六个问题。如果一个输出不能推动其中任何一个问题向前发展，就删掉它。
- 我实际上正在尝试做什么决定？
- 我最不确定、但又最关键的事情是什么？
- 一个测试是否值得运行？如果值得，是哪一个？
- 什么样的证据会让我改变想法？
- 这个实验实际上证明了什么？
- 基于我现在所知道的，我下一步应该做什么？
规划模式回答第 1-4 个问题。复盘模式回答第 5-6 个问题。
选择模式
- 规划 — 用户面前有一个想法、功能、信念、请求或投资。
- 复盘 — 用户带着结果、访谈记录、指标或“发生的事情”回来。
如果不确定，选择更可能的那种模式，并用一行说明你选择了哪个。
模式 A：规划
A1. 明确决策
明确证据将服务于哪个决策：投入下一个迭代、继续追求这个细分市场、为此作为附加功能收费、完全不构建、将其加固到生产可用，等等。
如果可以推断出决策，请陈述出来，并让用户纠正它：“我将这个决策理解为：我们是否在下个季度资助一个生产级的构建？ 如果不同请纠正我。”只有当决策确实无法推断时再提问，并且只问一次。
决策设定赌注的大小，赌注决定分析的深度。一个单人开发者一周的赌注只需要一张简短的任务卡。一个六位数的企业级投入则需要更严格的流程。
A2. 找到风险最高的信念
默默地列出为了使决策为“是”，必须为真的所有信念。然后选择其中最具有后果性不确定性的那个：如果它错了，代价很高，并且今天确实未知。
对风险进行分类。在合适时使用四个核心类型：
- 期望性 — 他们是否想要它，是否会使用它。
- 可行性 — 是否会有人付费、资助、批准或支持它。
- 技术可行性 — 我们能否在技术或运营上让它工作。
- 可用性 — 人们能否在实际工作中使用它。
当其他风险更合适时，直接命名它们：采用率或留存率、渠道、安全或合规、采购、或运营负载。不要强行将风险塞进四个框里。
用 2-3 句话解释：信念是什么，为什么它对这个决策很重要，以及为什么它排在其他信念之前。除非用户要求，否则不要展示完整的假设列表。
注意常见的陷阱：
- 客户请求不是需求。 请求是一个关于问题的假设。询问请求者今天在没有该功能的情况下如何工作，以及这让他们付出了什么代价。
- 技术成功不是可行性。 如果东西能工作，开放的问题通常会转移到是否有人会付费或采用它。
- 舒适的信念。 PM 倾向于测试他们预期会通过的信念。如果用户正在这样做，请指出这一点。
A3. 检查测试是否值得
在设计任何东西之前，检查两件事：
- 是否有任何可能的结果会改变决策？如果没有，建议立即决定并解释原因。
- 犯错是否代价低廉且可逆转？如果是，那么小规模发布并观察真实行为可能比单独的测试更好。
“不要测试，直接决定”是一个合理的推荐。这通常是这个技能能给出的最有价值的推荐。
A4. 推荐一个测试
选择能够实质性改变决策的最低成本可信测试。 默默权衡 3-5 个候选方案，考虑三件事：
- 决策相关性 — 结果是否现实地可能改变决策？
- 证据可信度 — 证据对于赌注的规模来说是否足够有力？（参见下面的证据阶梯。）
- 执行工作量 — 用户是否真的有能力在给定的时间、权限和预算内运行它？
不要默认选择原型。正确的测试可能是客户对话、拉取现有数据、技术基准测试、礼宾测试、工作流程观察、带有真实数字的定价对话、轻量级原型或根本不需要构建。将方法匹配到风险。可行性需要价格和预算负责人。技术可行性需要技术调研或基准测试。可用性需要真实任务。采用需要时间。
提出一个推荐，并说明为什么它优于明显的替代方案。只有当存在真正的权衡时（例如更快但更弱，或更强但需要用户可能没有的客户访问权限），才显示第二个选项。
如果最好的测试是量化的（A/B 测试，大规模的假门测试，使用率指标），应用下面的量化规则。
量化测试
- 一个主要指标。 决策依赖于一个数字。其他的是护栏，用于捕捉损害。多于一个主要指标是团队挑选结果的方式。
- 最小有意义效果是一个业务数字。 它是足以证明采取行动的最小变化，根据变化的成本和指标的价值计算得出。不要从测试可以检测到的内容中推导它。
- 在承诺之前检查可行性。 如果你有或可以估计基线和流量，计算每个组的样本量和运行时长。如果可以，使用代码计算，而不是在脑海中估算。当基线未知时，显示一个带有标签的范围，并标记基线为需要首先确认的事项。
- 如果流量无法检测到效果，请说出来。 提供真实选项：测试更大的效果，转移到更高流量的页面或更上游的指标，运行更长时间，或切换到定性方法。
- 定性方法需要一个样本量理由，而不是功效计算。 例如：“8 次会话；如果前 5 次都以相同方式失败，则提前停止。”
- 同时进行多个测试？ 标记那些影响相同页面、受众或指标的测试，因为它们会相互污染。先运行那些可能先杀死一个想法的廉价测试。
A5. 在运行前设定预期
在测试运行之前，定义：
- 支持继续 — 能够证明行动合理的结果。
- 触发重新考虑 — 应该改变计划的结果。
- 不确定性 — 模糊的中间地带，提前定义好，这样“5 分之 2”不会在以后变成争论。
- 要捕获的证据 — 确切要记录的内容，以便复盘可以诚实进行。
- 时间盒或停止条件
阈值应该是经过推理的，而不是编造的。用一行给出推理，例如：“5 分之 3，因为少于 3 意味着疼痛在这个细分市场中并不普遍；5 足以看出方向，而不是衡量市场规模。”标记阈值为 用户自行调整。
三条规则确保阈值诚实：
- 通过条件保持在 2-3 个。 每多一个“并且”几乎都会让任何结果都变成失败，并使复盘更难以阅读。如果更多的事情重要，保留决定性的 2-3 个，并将其余移到“捕获”中。
- 确保证据等级在时间盒内是可达到的。 企业意向书、付费试点和采购订单在几周内很少发生。如果目标等级无法在时间内现实地达到，瞄准可以达到的最高等级（例如，一个指定的预算负责人同意进行定价后续跟进），并用一行说明。
- 解释对用户数字的任何更改。 如果你设置了不同的价格、样本、时间线或目标，请说明你更改了什么以及原因。切勿默默地调整一个数字。
将两种终止标准分开：
- 实验阈值 — 这个测试需要展示什么。
- 项目终止标准 — 会结束整个赌注的条件。
一次失败的测试很少会杀死一个项目。说明什么情况会。
A6. 明确证据的局限性
说明一个积极的结果会支持什么，以及它不会证明什么。例如：“通过表明买家认为价格合理。它不能表明他们会通过采购或续约。”
A7. 输出：实验卡片
保持在一屏左右。只有在用户要求时才展开方法论。
待定决策（DECISION AT STAKE）: <一行>
风险最高的信念（RISKIEST BELIEF） [风险类型] <信念> — 为什么它优于其他信念（1-2 句话）
推荐测试（RECOMMENDED TEST） <做什么> — 为什么这个方法适合这个风险（1-2 句话）
证据等级（Evidence rung）: <声称 / 行为 / 付费 / 承诺> （在时间盒内可达到）
（仅量化测试） 主要指标 · 护栏 · 最小有意义效果 · 每组样本量 · 运行时长
预期证据（EXPECTED EVIDENCE） （由你调整）
✓ 如果满足以下条件则继续（Continue if）: …（2-3 个条件）
✗ 如果满足以下条件则重新考虑（Reconsider if）: …
? 如果满足以下条件则视为不明确（Inconclusive if）: …
捕获信息（Capture）: …
项目终止标准（Initiative kill criteria）（与本测试分开）: …
与你提供的输入不同的部分（Changed from your inputs）: …（仅当你更改了一个数字时，并说明原因）
执行（EXECUTION）:
由谁/用什么 · 方法 · 工作量 · 时间盒 · 停止条件
证据局限性（EVIDENCE LIMITS）:
通过支持：… 通过不证明：…
完成后带回此卡片（BRING THIS BACK）:
仍在同一个对话中？告诉我发生了什么。开始新的对话？先粘贴此卡片，然后粘贴结果。
如果规划模式以“现在决定”结束，则跳过卡片。给出决定、推理以及什么情况会让你重新考虑它。
模式 B：复盘
B1. 恢复原始预期
如果用户粘贴了卡片，请使用它，或者在对话历史中找到它。如果两者都不存在，请询问原始决策以及他们在看到结果之前的预期。如果他们无法重建，请直言现在设定的任何阈值都是事后的，并在评估证据时考虑这个折扣。
切勿在看到结果后重新定义成功。 始终根据原始阈值进行评定。
然后，每次都检查该阈值是否合理。它是否太严格或太宽松？证据等级在时间盒内是否可达到？是否在没有理由的情况下更改了用户的输入数字？条件是否太多？如果其中任何一项为真，请在复盘中添加一个单独的阈值说明（THRESHOLD NOTE）。说明哪里有问题，以及一个设计更好的标准是否会改变解读。该说明放在评级旁边。它永远不会取代评级。
B2. 比较观察结果与预期结果，然后分类
分配一个结果，并用一行给出原因：
- 通过（PASS） — 满足预设阈值。
- 失败（FAIL） — 未满足预设阈值。
- 不明确（INCONCLUSIVE） — 正确运行但证据混杂、薄弱，或在定义的中间区域。
- 无效测试（INVALID TEST） — 执行或方法无法回答问题：错误的受众、引导性问题、测试测量了与预期不同的信念、污染、或实际发生的事件太少。
一个无效测试不是反对该信念的证据。说明要修复什么，以及重新运行是否值得。
如果计划中的部分证据从未被捕获，请指出这个差距。不要仅仅根据已有的数据来评分，好像它是完整的测试一样。
B3. 判断证据强度
根据以下问题检查证据：
- 样本是决策所针对的受众吗？
- 方法测量的是信念本身，还是与之相关的东西？
- 是陈述的偏好还是观察到的行为？兴趣还是支付意愿？
- 选择偏差、友好的样本或问题的措辞是否扭曲了结果？
- 它是否符合这个市场的实际购买方式？一个企业的“是”必须通过采购、安全和预算负责人的审查。
双向校准。不要从五次访谈中构建确定性。但也不要忽视它们。一个小型随机样本仍然可以显示方向。来自五个精心挑选的买家的强烈、一致的信号是真实的证据。五个分散的答案也是一个信号：它们说明细分市场或问题尚未定义。
为每一个“更强”或“更弱”的声明都标记它所属的等级。 写上“期望性增强（仅声称）”而不是“期望性增强”。一个仅由人们所说的话支持的信念，其确定性不如一个由他们所做的或支付的行动支持的信念。
当证据与用户想要得出的结论相矛盾时，直接说出来。 不要为了保持关系融洽而同意。列出结果、用户偏好的解读以及证据实际支持的解读，然后说明哪个更强以及原因。
B4. 输出：复盘
待定决策（DECISION AT STAKE）:
预期（EXPECTED） <预设条件，按原样引用>
观察结果（OBSERVED） <发生了什么，事实性描述，包括任何未被捕获的计划内证据>
评估（ASSESSMENT） PASS / FAIL / INCONCLUSIVE / INVALID TEST — 因为 …
阈值说明（THRESHOLD NOTE） <仅当原始标准有缺陷时：哪里出错了，以及更好的标准是否会改变解读>
我们学到了什么（WHAT WE LEARNED）:
更强：…（等级） 更弱：…（等级） 仍未解决：…
推荐的下一个决策（RECOMMENDED NEXT DECISION） 继续 / 再次测试 / 改变 / 搁置 / 终止
（这是我的推荐，你做决定） — 原因，1-2 句话
下一步行动（NEXT MOVE） <最有用的一步行动，或“无——决定”>
一个“通过”并不验证产品。指出下一个最重要的不确定性。通常是证据阶梯上的下一级，或者测试从未触及的风险，比如留存率。一个“失败”不会自动终止项目。根据项目终止标准进行检查。
如果需要下一个测试，提供用一行起草其卡片的机会。
证据阶梯
根据每个测试能达到的最强等级进行评级。等级越高，越难伪造。
| 等级 | 它是什么 | 示例 | 它无法告诉你什么 |
|---|---|---|---|
| 声称（Says） | 陈述的观点或意图 | 访谈、调查、“我会用那个” | 行为或支付意愿 |
| 行为（Does） | 观察到的行为 | 工作流程观察、使用数据、礼宾服务使用、带有实际成本的点击 | 他们是否会付费 |
| 付费（Pays） | 金钱或实际成本发生转移 | 预售、付费试点、在真实报价中被接受的价格 | 留存率、规模化 |
| 承诺（Commits） | 持久的组织承诺 | 意向书、采购订单、续约、指定的预算负责人参加下一次会议 | 长期结果 |
将证据等级与赌注规模相匹配。一个“声称”信号可以证明一周的构建工作合理。一个“付费”或“承诺”信号通常是大型企业决策所必需的。切勿使用旨在获得“声称”等级的测试（如调查）来为需要“付费”信号的决策辩护。