Al0olo/Agents-village

Entwirf, registriere vorab, führe aus oder analysiere ein Experiment (F1, F2, F3). Zu verwenden beim Schreiben einer Vorregistrierung, der Auswahl von Bedingungen, Messgrößen, Stichprobengröße oder Statistiken, dem Einpflanzen von Fakten oder der Interpretation von Ergebnissen.

Was ist Agents-village?

Diese Fähigkeit ermöglicht es einem KI-Agenten (wie Claude Code), vollständige agentenbasierte Experimente zu entwerfen, vorzuregistrieren, auszuführen und zu analysieren. Sie basiert auf einem Design mit drei Forschungsfragen (F1 ist die Hauptfrage, F2 und F3 sind zurückgestellt) und einem Dörfer-Ökosystem, in dem mehrere KI-Agenten interagieren. Der Schwerpunkt liegt auf kontrollierten, gepaarten Vergleichen, bei denen die Dörfer in Blöcke aufgeteilt werden, wobei der primäre Kontrast die Wirkung eines Kernel-Zulassungsmechanismus gegen eine bessere Prompt-Bedingung misst. Die Fähigkeit enthält eine detaillierte Vorregistrierungs-Checkliste, die sicherstellt, dass Hypothesen, Bedingungen, Maße, statistische Methoden und Ausschlusskriterien vor dem ersten Lauf festgelegt werden. Sie betont strenge statistische Praktiken, einschließlich exakter Permutationstests, gepaarter Vergleiche (da kleine Designs sonst keine Signifikanz erreichen), und die vorgeplante Auswertung mit einer Korrektur für multiples Testen. Typische Anwendungsfälle sind das Schreiben der `PREREGISTRATION.md`, das Ausführen eines Pilotversuchs mit 2 Blöcken, das Einfrieren der Konfigurationen (Hash-pinned), die Registrierung auf OSF, die Ausführung der Hauptstudie und die aktualisierte Dokumentation in `HANDOFF.md`.

Funktioniert mit~Claude Code~Codex CLI~Cursor

npx skills add https://github.com/Al0olo/Agents-village/tree/HEAD/.claude/skills/experiment-design

Dokumentation

Experiment design

Lies zuerst Abschnitt 1 von docs/prd.md. F1 ist das Flaggschiff; F2 und F3 sind zurückgestellt.

Vorregistrierungs-Checkliste (vor dem ersten Lauf committen)

Frage, Hypothese und das Ergebnis, das sie widerlegen würde.
Bedingungen und der primäre Kontrast (F1: Kernel-Zulassung gegen die bessere Prompt-Bedingung).
Das Basis-Dorf läuft bis zur Gabelung ohne Abwehr (ADR-0003); berichte den Anteil der Kern- und gemeinsamen Einträge an der Gabelung, die die Kernel-Regel abgelehnt hätte.
Analyseeinheit: das Dorf oder der gepaarte Block. Blöcke, Gabelungen und deren Anzahl, mit dem Piloten, der sie festlegt.
Messgrößen, wie jede kodiert wird, wer oder was sie kodiert (verblindete Gutachterin plus menschlich validierte Stichprobe).
Modellmix, gepinnte Snapshot-IDs, gerouteter Anbieter, Fallbacks aus, Bedingungen gemeinsam gestartet.
Eingepflanzte Fakten: nur fiktive Entitäten, gegengewichtete Plausibilität und Planter-Status.
Explorative Bedingungen (z. B. F, Standard-Speicher) sind als explorativ gekennzeichnet, vom primären Kontrast und von der Multiplizitätskorrektur ausgeschlossen.
Kontrollen: Bewusstseinsprüfung, Prompt-Paraphrase-Kontrolle, volumenangepasste Zufallsblock-Kontrolle.
Ausschlussregeln für abgestürzte Dörfer, Stoppregel, Plan für veraltete Modelle.
Analyse: gepaarte Unterschiede innerhalb der Blöcke, Effektstärken mit Intervallen, Korrektur für multiples Testen, Power-Schätzung und wie sie aus dem Piloten neu berechnet wird.
Unterstützungs- und Widerlegungsbedingungen im Voraus schreiben.

Statistik-Erinnerungen

Der exakte Permutationstest erreicht bei 4 pro Bedingung etwa 0,029, bei 3 pro Bedingung etwa 0,10; daher können ungepaarte kleine Designs keine Signifikanz erreichen. Gepaarte Gabelungen sind das Werkzeug für Power.
R0 ist bei 7 Anfälligen mit täglicher Auflösung undefiniert; verwende es nicht.
Negative Ergebnisse berichten.

Ablauf

Schreibe experiments/<rq>/PREREGISTRATION.md anhand der Checkliste; hole die Überprüfung durch die Eigentümerin ein.
Führe den 2-Block-Piloten durch; notiere Varianz, Gabelungskorrelation, Kodierungszuverlässigkeit, Kosten pro Bürger-Tag.
Friere die Konfigurationen ein (Hash-pinned), registriere auf OSF, dann ausführen.
Analysiere genau wie registriert; weiche Abweichungen in einer datierten Ergänzung aus.
Aktualisiere docs/HANDOFF.md.