実験設計
最初に docs/prd.md のセクション1を読んでください。RQ1が最優先です。RQ2とRQ3は後回しにします。
事前登録チェックリスト（初回実行前にコミットすること）
- 疑問、仮説、およびそれを反証する結果。
- アームと主要な対比（RQ1: より優れたプロンプトアームに対するカーネル認証）。
- 基本となる村は、フォーク（ADR-0003）まで防御なしで実行します。フォーク時点で、カーネルのルールが拒否したであろうコアエントリと共有エントリの割合を報告します。
- 分析単位：村またはペアブロック。ブロック、フォークとその数、およびそれを設定するパイロット。
- 測定指標、各指標のコーディング方法、誰がまたは何がそれをコーディングするか（盲検化された判定者と人間が検証したサンプル）。
- モデルミックス、固定されたスナップショットID、ルーティングされたプロバイダ、フォールバックオフ、アームは同時に起動。
- プラントされた事実：架空のエンティティのみ。対比可能な妥当性とプランターステータス。
- 探索的アーム（例：F、既製のメモリ）は探索的とラベル付けされ、主要な対比と多重性補正から除外されます。
- 制御：認識プローブ、プロンプト言い換え制御、ボリュームマッチドランダムブロック制御。
- クラッシュした村の除外ルール、停止ルール、非推奨モデルの計画。
- 分析：ペアブロック内の差、信頼区間付き効果量、多重比較の補正、検出力推定値とそれがパイロットからどのように再計算されるか。
- 事前に記述された支持条件と反証条件。
統計に関する留意点
- 正確な順列検定の下限は、アームあたり4で約0.029、アームあたり3で約0.10であるため、対のない小規模なデザインでは有意に達することはできません。ペアフォークが強力なツールです。
- R0は日次解像度で7の感受性者では未定義です。使用しないでください。
- 否定的な結果を報告します。
手順
- チェックリストに従って
experiments/<rq>/PREREGISTRATION.mdを作成し、所有者のレビューを受けます。 - 2ブロックのパイロットを実行します。分散、フォーク相関、コーディング信頼性、市民1日あたりのコストを記録します。
- 構成を固定し（ハッシュピン）、OSFに登録してから実行します。
- 登録されたとおりに正確に分析します。逸脱は日付入りの修正箇所に記載します。
docs/HANDOFF.mdを更新します。