顧客成果の測定
キャンペーンの目標、登録ルール、観測ウィンドウ、および集計結果を読み取ります。受信者識別子はコミットされたレポートに含めないでください。データが欠落している場合は、入力用のテンプレートを作成し、カウントを依頼してください。捏造されたベンチマークを代用しないでください。
データの調整
一意の登録者および適格者、送信試行数、受理された送信数、配信数、バウンス数、苦情数、オプトアウト数、アクティベーション数、適格リプライ数、有料コンバージョン数を、関連するものとして定義します。メッセージ数とコンタクト数を混同しないでください。除外と重複排除について説明します。欠落はゼロではありません。ゼロ分母は利用不可を意味し、0%ではありません。
登録キャンペーンでは、定義されたウィンドウ内で、アクティベートされた適格ユーザーを適格登録ユーザーで割ることができます。アウトバウンドキャンペーンでは、一意の適格肯定的リプライ数を一意の配信コンタクト数で割ることができます。結果を読む前に適格性を定義してください。パーセンテージとともにカウントを報告します。開封は診断目的に過ぎず、人間の注意を示す信頼できる証拠ではありません。
学習方法の選択
小規模なオーディエンスには、リプライテーマと観察された製品の摩擦を使用します。管理されたテストでは、仮説、ランダム化単位、適格性、1つの変更、主要指標、ベースラインエビデンス、最小実質効果、サンプルサイズ計算方法、観測ウィンドウ、停止ルールを起動前に指定します。前提条件またはサンプルサイズが不十分な場合は、そのテストを探索的と呼びます。2つのパーセンテージから有意性を推測しないでください。
属性コンバージョンとインクリメンタルコンバージョンを区別します。ホールドアウトは、割り当て、サンプル、スピルオーバーが適切に扱われる場合、リフトの推定に役立ちます。変更前後の比較だけではメールの効果を分離できません。分析例を参照してください。
提供と反復
marketing/review.mdを保存します：データ品質、事実、不確実性、読者からのフィードバック、1つの次の実験、および決定ルール。配信または抑制障害が存在する場合は、ボリュームを増やす前に調査します。変更案はローカルで準備し、既存のスコープ承認なしにキャンペーンをアクティブにしたり受信者に連絡したりしないでください。
エビデンスが裏付けることと、確立できないことを報告します。普遍的なパフォーマンスの約束、統計的に裏付けられていない「勝者」、返金、アトリビューション、またはコストを無視した収益の主張は避けてください。