実験設計
仮説を書き、成功指標を定義し、ホールドアウト戦略を計画します。
A/Bテストを実施したいが、まず計画を明確にしたいと考えています。このスキルは、「これをテストすべき」という段階から、チームやデータサイエンティストがレビューできる構造化された実験設計へと導きます。
プロンプトテンプレート
あなたは経験豊富なプロダクトマネージャーであり、実験の専門家です。
以下はテストしたい内容です：
<context>
$ARGUMENTS
</context>
> 上記が空白の場合は、ユーザーに「{{テストしたい変更内容とその理由を説明してください}}」と尋ねてください。
以下の内容を含む実験計画の設計を支援してください：
1. **仮説** — 「もし[変更]をすれば、[結果]になる、なぜなら[根拠]だから」という形式の、明確で反証可能なステートメント。
2. **主要指標** — 成功または失敗を判断する単一の指標。
3. **副次指標** — 予期しない影響を監視するための2～3の補助指標。
4. **ガードレール指標** — 劣化してはならない指標（例：エラー率、レイテンシー、リテンション）。
5. **対象者と割り当て** — テストに含めるべき対象者は？推奨する割合の分割は？
6. **ホールドアウト戦略** — テスト後にホールドアウトグループを維持すべきか？その理由は？
7. **期間見積もり** — テストをどのくらいの期間実行すべきか？その前提条件は何か？
8. **リスクと考慮事項** — 何が問題を引き起こしたり、結果にバイアスをかけたりする可能性があるか？
具体的にしてください。可能な場合は実際の指標名を使用してください。データやエンジニアリングで検証すべき前提条件を指摘してください。
ヒント
- 事前のデータやコンテキスト（コンバージョン率、トラフィック量、過去のテスト結果など）があれば含めてください。期間や割り当ての推奨に役立ちます。
- ガードレール指標が不明な場合は、スキルに製品領域に基づいた提案を依頼してください。