Communitygithub.com

Al0olo/Agents-village

設計、預先註冊、執行或分析一項實驗(RQ1、RQ2、RQ3)。在撰寫預先註冊、選擇實驗組、衡量指標、樣本大小或統計方法、植入事實或解讀結果時使用。

Agents-village 是什麼?

這是一個專為 AI 代理系統(如 Claude Code、Cursor 等)設計的實驗設計技能,主要用於規劃、預先註冊、執行及分析基於代理村莊(Agent Village)的對比實驗。它支援三個研究問題(RQ1、RQ2、RQ3),其中 RQ1 為主要旗艦研究,RQ2 與 RQ3 則為後續項目。此技能提供了一個完整的預先註冊檢查清單,涵蓋從假設提出、實驗組設計(如核心准入對比)、衡量指標編碼、模型配置釘選、植入虛構事實、探索性實驗組標記,到統計分析(如配對排列檢定、效應量與區間估計、多重比較校正)等所有關鍵步驟。其核心價值在於強制研究者在實驗前完成預先註冊,確保分析計畫與實際執行一致,並透過配對分叉設計(paired fork design)提升統計檢定力,避免小樣本無法達到顯著性的問題。同時,它要求報告負面結果,並記錄所有偏離預先註冊的修正,從而提高研究的可重複性與透明度。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Al0olo/Agents-village/tree/HEAD/.claude/skills/experiment-design

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

實驗設計

請先閱讀 docs/prd.md 的第 1 節。RQ1 為主要旗艦研究;RQ2 與 RQ3 則延期進行。

預先註冊檢查清單(在首次執行前提交)

  • 問題、假設以及會反駁該假設的結果。
  • 實驗組以及主要對比(RQ1:核心准入對比於較佳的提示實驗組)。
  • 基礎村莊在分叉點之前不執行防禦(ADR-0003);報告核心規則原本會拒絕的核心條目與共享條目在分叉點所佔的比例。
  • 分析單位:村莊或配對區塊。區塊、分叉點及其數量,以及設定這些參數的試點研究。
  • 衡量指標、每個指標如何編碼、由誰或什麼來編碼(盲審評分者加上人類驗證的樣本)。
  • 模型組合、已釘選的快照 ID、路由提供者、關閉後備方案、同時啟動的各實驗組。
  • 植入的事實:僅限虛構實體,並平衡其合理度與植入者身份。
  • 探索性實驗組(例如 F 組,使用現成的記憶)應標記為探索性,排除在主要對比與多重比較校正之外。
  • 控制條件:意識測試、提示改寫對照組、與音量匹配的隨機區塊對照組。
  • 崩潰村莊的排除規則、停止規則、已棄用模型的處理計畫。
  • 分析:配對區塊內差異、附有區間估計的效應量、多重比較校正、統計檢定力估計以及如何從試點研究重新計算。
  • 預先寫好的支持條件與反駁條件。

統計學提醒

  • 精確排列檢定的下限:每個實驗組 4 個樣本時約為 0.029,每個實驗組 3 個樣本時約為 0.10,因此非配對的小型設計無法達到統計顯著性。配對分叉點是提高檢定力的工具。
  • 在每日解析度下有 7 個易感者時,R0 是未定義的;請勿使用。
  • 請報告負面結果。

程序

  1. 根據檢查清單撰寫 experiments/<rq>/PREREGISTRATION.md;取得專案負責人的審查。
  2. 執行 2 個區塊的試點研究;記錄變異數、分叉點相關性、編碼可靠性、每位居民每日成本。
  3. 凍結配置(以雜湊值釘選),在 OSF 上註冊,然後執行。
  4. 完全依照註冊內容進行分析;將任何偏離之處記錄在標註日期的修正文件中。
  5. 更新 docs/HANDOFF.md。

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

相關技能