實驗設計
請先閱讀 docs/prd.md 的第 1 節。RQ1 為主要旗艦研究;RQ2 與 RQ3 則延期進行。
預先註冊檢查清單(在首次執行前提交)
- 問題、假設以及會反駁該假設的結果。
- 實驗組以及主要對比(RQ1:核心准入對比於較佳的提示實驗組)。
- 基礎村莊在分叉點之前不執行防禦(ADR-0003);報告核心規則原本會拒絕的核心條目與共享條目在分叉點所佔的比例。
- 分析單位:村莊或配對區塊。區塊、分叉點及其數量,以及設定這些參數的試點研究。
- 衡量指標、每個指標如何編碼、由誰或什麼來編碼(盲審評分者加上人類驗證的樣本)。
- 模型組合、已釘選的快照 ID、路由提供者、關閉後備方案、同時啟動的各實驗組。
- 植入的事實:僅限虛構實體,並平衡其合理度與植入者身份。
- 探索性實驗組(例如 F 組,使用現成的記憶)應標記為探索性,排除在主要對比與多重比較校正之外。
- 控制條件:意識測試、提示改寫對照組、與音量匹配的隨機區塊對照組。
- 崩潰村莊的排除規則、停止規則、已棄用模型的處理計畫。
- 分析:配對區塊內差異、附有區間估計的效應量、多重比較校正、統計檢定力估計以及如何從試點研究重新計算。
- 預先寫好的支持條件與反駁條件。
統計學提醒
- 精確排列檢定的下限:每個實驗組 4 個樣本時約為 0.029,每個實驗組 3 個樣本時約為 0.10,因此非配對的小型設計無法達到統計顯著性。配對分叉點是提高檢定力的工具。
- 在每日解析度下有 7 個易感者時,R0 是未定義的;請勿使用。
- 請報告負面結果。
程序
- 根據檢查清單撰寫
experiments/<rq>/PREREGISTRATION.md;取得專案負責人的審查。 - 執行 2 個區塊的試點研究;記錄變異數、分叉點相關性、編碼可靠性、每位居民每日成本。
- 凍結配置(以雜湊值釘選),在 OSF 上註冊,然後執行。
- 完全依照註冊內容進行分析;將任何偏離之處記錄在標註日期的修正文件中。
- 更新
docs/HANDOFF.md。