衡量客户结果
阅读营销活动目标、注册规则、观察窗口和聚合结果。将收件人标识符排除在已提交的报告之外。如果数据缺失,生成一个填空模板并要求提供计数;不要使用虚构的基准替代。
对账数据
定义唯一的已注册且符合条件的联系人、尝试发送数、已接受发送数、已送达联系人、退信数、投诉数、退订数、激活数、合格回复数和相关付费转化数。不要将消息计数与联系人计数混用。解释排除项和去重逻辑。缺失不等于零。分母为零意味着不可用,而不是 0%。
注册活动可以使用在定义窗口内符合条件的已激活用户除以符合条件的已注册用户。外发活动可以使用唯一的合格积极回复数除以唯一的已送达联系人数。在查看结果之前定义“合格”。在百分比旁边报告计数。打开率最多是一个诊断指标,不能可靠地证明人类的注意力。
选择学习方法
对于小规模受众,使用回复主题和观察到的产品摩擦。对于受控测试,在启动前指定假设、随机化单元、资格条件、单一变更、主要指标、基线证据、最小有意义效应、样本量方法、观察窗口和停止规则。如果假设或样本量不足,则将测试标记为探索性。不要仅从两个百分比推断显著性。
区分归因转化与增量转化。留存组有助于估算提升(当分配、样本和溢出得到妥善处理时);仅凭“前后对比”无法隔离邮件的影响。阅读 工作分析。
交付并迭代
保存 marketing/review.md:数据质量、事实、不确定性、读者反馈、下一个实验和决策规则。如果存在投递或抑制失败,在增加量之前先调查原因。在本地准备草稿变更;未经现有范围授权,不得激活营销活动或联系收件人。
报告证据支持的内容以及无法确定的内容。避免做出普遍性能承诺、统计上无根据的“胜者”以及忽略退款、归因或成本的收入声明。