A/Bテスト
ルール
- ハッシュベースの割り当て:
hash(userId + experimentId) % 100を使用した決定論的なバリアント選択 — セッション間でのランダム性のずれは発生しません - バリアント設定: 実験は設定オブジェクト
{ id, name, variants: [{ id, weight }], status }に保存 — バリアントをハードコードしないでください - サーバーサイドでのトラフィック分割: ミドルウェアまたはAPIルートで割り当て、一貫性のためにクッキーを設定 — クライアントサイドの分割はちらつきを引き起こします
- 統計的有意性: 勝者を宣言する前に95%の信頼水準(p < 0.05)を要求 — 比率のz検定を使用
- サンプルサイズ: 開始前に最小サンプルを計算 —
n = (Z^2 * p * (1-p)) / E^2ここでEは最小検出効果 - 実験ごとに1つの指標: 事前に主要指標(コンバージョン率、クリック率、収益)を定義 — 副次指標は探索目的のみ
- 相互排他: ある実験のユーザーが競合する実験と重複しないように — 実験レイヤーを使用
- 機能フラグ: 実験コードを機能フラグチェックでラップ — 実験終了後に敗れたバリアントをクリーンアップ
- 期間: 曜日効果を考慮して、少なくとも1〜2完全なビジネスサイクル(最低7〜14日)実行
- ログ記録: すべてのインプレッションおよびコンバージョンイベントに対して
experiment_id,variant_id,user_id,timestampを追跡
避けるべきこと
- サンプルサイズに達する前に結果を覗き見る — 偽陽性率を増加させます
- 実験パラメータを途中で変更する — 統計分析が無効になります
- 一度に多すぎるバリアントをテストする — 必要なサンプルサイズが指数関数的に増加します
- クッキーなしでのクライアントサイドのバリアント割り当て — ちらつきや一貫性のないユーザー体験を引き起こします