实验设计
首先阅读 docs/prd.md 第1节。RQ1是旗舰研究问题;RQ2和RQ3延期执行。
预注册检查清单(首次运行前提交)
- 研究问题、假设以及可能推翻假设的结果。
- 实验组及其主要对比(RQ1:内核准入相对于更好提示组)。
- 基础村庄在分叉之前(ADR-0003)一直运行且不设防御;报告分叉时内核规则本应拒绝的核心条目与共享条目的占比。
- 分析单位:村庄或配对区块。区块、分叉及其数量,以及用于确定这些数量的试点。
- 测量指标:每个指标如何编码,由谁或什么编码(盲审法官加上人工验证的样本)。
- 模型组合:固定的快照ID,路由提供商,关闭回退选项,实验组同时启动。
- 植入事实:仅限虚构实体,需平衡合理性及植入者身份。
- 探索性实验组(例如F组,现成的记忆)标记为探索性,不纳入主要对比,也不进行多重性校正。
- 控制组:意识探测提示组、提示同义改写控制组、按体积匹配的随机区块控制组。
- 崩溃村庄的排除规则、停止规则、已弃用模型的处理方案。
- 分析:配对区块内差异比较、带有置信区间的效应量、多重比较校正、基于试点重新计算的功效估计。
- 支持与反驳的条件需预先写定。
统计提示
- 精确置换检验的基准p值:每组4个样本时约为0.029,每组3个样本时约为0.10,因此非配对的小样本设计无法达到统计显著性。配对的分叉设计是提高功效的工具。
- 当每天易感数为7时,R0值未定义;请勿使用。
- 报告阴性结果。
操作流程
- 根据检查清单编写
experiments/<rq>/PREREGISTRATION.md,并请项目负责人审阅。 - 运行2个区块的试点实验;记录方差、分叉间相关性、编码可靠性、每居民日的成本。
- 冻结配置文件(哈希固定),在OSF上注册,然后运行正式实验。
- 严格按照注册方案进行分析;如有偏差,需在注明日期的修正文件中记录。
- 更新
docs/HANDOFF.md。