Communitygithub.com

实验设计技能(Agent Village)

设计、预注册、运行或分析实验(RQ1、RQ2、RQ3)。在编写预注册、选择实验组、测量指标、样本量或统计方法、植入事实或解释结果时使用。

实验设计技能(Agent Village) 是什么?

该技能是用于Agent Village实验的完整工作流工具,覆盖了从预注册到分析的全流程,特别针对三个研究问题(RQ1为主,RQ2和RQ3为延期)。它提供了结构化的预注册检查清单,确保实验设计符合严格的可复现性标准,包括假设、实验组对比、分析单元、效应量计算、多重比较校正等统计要求。技能还包含关键的统计提示(如精确置换检验的样本量限制)和分步操作流程:先预注册、进行两区块试点、冻结配置、正式运行、最后严格按照注册方案分析。该技能适用于Claude Code、Cursor等基于LLM的开发环境,帮助研究者设计严谨的实验方案,避免常见的统计陷阱,并确保实验结果的透明度和可重复性。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Al0olo/Agents-village/tree/HEAD/.claude/skills/experiment-design

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

实验设计

首先阅读 docs/prd.md 第1节。RQ1是旗舰研究问题;RQ2和RQ3延期执行。

预注册检查清单(首次运行前提交)

  • 研究问题、假设以及可能推翻假设的结果。
  • 实验组及其主要对比(RQ1:内核准入相对于更好提示组)。
  • 基础村庄在分叉之前(ADR-0003)一直运行且不设防御;报告分叉时内核规则本应拒绝的核心条目与共享条目的占比。
  • 分析单位:村庄或配对区块。区块、分叉及其数量,以及用于确定这些数量的试点。
  • 测量指标:每个指标如何编码,由谁或什么编码(盲审法官加上人工验证的样本)。
  • 模型组合:固定的快照ID,路由提供商,关闭回退选项,实验组同时启动。
  • 植入事实:仅限虚构实体,需平衡合理性及植入者身份。
  • 探索性实验组(例如F组,现成的记忆)标记为探索性,不纳入主要对比,也不进行多重性校正。
  • 控制组:意识探测提示组、提示同义改写控制组、按体积匹配的随机区块控制组。
  • 崩溃村庄的排除规则、停止规则、已弃用模型的处理方案。
  • 分析:配对区块内差异比较、带有置信区间的效应量、多重比较校正、基于试点重新计算的功效估计。
  • 支持与反驳的条件需预先写定。

统计提示

  • 精确置换检验的基准p值:每组4个样本时约为0.029,每组3个样本时约为0.10,因此非配对的小样本设计无法达到统计显著性。配对的分叉设计是提高功效的工具。
  • 当每天易感数为7时,R0值未定义;请勿使用。
  • 报告阴性结果。

操作流程

  1. 根据检查清单编写 experiments/<rq>/PREREGISTRATION.md,并请项目负责人审阅。
  2. 运行2个区块的试点实验;记录方差、分叉间相关性、编码可靠性、每居民日的成本。
  3. 冻结配置文件(哈希固定),在OSF上注册,然后运行正式实验。
  4. 严格按照注册方案进行分析;如有偏差,需在注明日期的修正文件中记录。
  5. 更新 docs/HANDOFF.md。

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

相关技能