衡量客戶成果
閱讀活動目標、註冊規則、觀察期間與彙總結果。將收件人識別資訊保留在已提交的報告之外。若缺少資料,請產生填空模板並要求提供計數;請勿使用虛構的基準值來替代。
協調數據
視情況定義獨特的已註冊與符合資格聯絡人、嘗試發送數、已接受發送數、已送達聯絡人、退件數、投訴數、取消訂閱數、啟用數、符合資格的回覆數與付費轉換數。請勿將郵件計數與聯絡人計數混為一談。解釋排除原因與重複刪除邏輯。缺失不等於零。分母為零表示無法計算,而非 0%。
一個註冊活動可以使用「在定義時間內啟用的符合資格使用者數」除以「符合資格的已註冊使用者數」。一個外送活動可以使用「獨特的符合資格正面回覆數」除以「獨特的已送達聯絡人數」。在閱讀結果之前先定義「符合資格」。在百分比旁邊報告計數。開啟率充其量只是診斷性指標;它並非人類關注度的可靠證明。
選擇學習方法
對於小眾市場,請使用回覆主題與觀察到的產品摩擦。對於控制測試,請在啟動前指定假設、隨機化單位、資格條件、單一變更、主要指標、基線證據、最小有意義效應、樣本大小方法、觀察期間與停止規則。如果假設或樣本大小不足,請將測試標記為探索性。請勿僅根據兩個百分比推斷顯著性。
區分歸因轉換與增量轉換。保留組有助於在處理分派、樣本與溢出效應時估算提升度;單獨的前後變化無法隔離電子郵件的影響。請參閱已分析的工作示例。
交付與迭代
保存 marketing/review.md:包含數據品質、事實、不確定性、讀者回饋、一個下一個實驗與一個決策規則。如果存在送達或封鎖失敗,請在增加發送量之前先進行調查。在本地準備變更草稿;未經現有範圍授權,請勿啟動活動或聯絡收件人。
報告證據所能支持以及無法確立的事項。避免普遍的績效承諾、無統計支持的「贏家」,以及忽略退款、歸因或成本的收入聲明。