Communitygithub.com

Al0olo/Village-d'agents

Concevoir, pré-enregistrer, exécuter ou analyser une expérience (RQ1, RQ2, RQ3). À utiliser lors de la rédaction d'un pré-enregistrement, du choix des bras, des mesures, de la taille d'échantillon ou des statistiques, de l'ajout de faits inventés, ou de l'interprétation des résultats.

Qu'est-ce que Village-d'agents ?

Ce skill guide la conception et l'exécution d'expériences contrôlées sur des villages d'agents (multi-agent systems), avec un accent sur la question de recherche principale RQ1 (admission par le noyau) et des questions secondaires RQ2 et RQ3. Il fournit une checklist de pré-enregistrement complète couvrant la formulation d'hypothèses, la définition des bras expérimentaux, le choix des mesures et des analyses statistiques, ainsi que des rappels sur les méthodes statistiques comme les tests de permutation exacte. Le skill prend en charge la rédaction du pré-enregistrement, l'exécution d'un pilote pour estimer la variance et la fiabilité du codage, le gel des configurations, l'enregistrement sur OSF, et l'analyse conforme au plan initial avec suivi des déviations. Il est conçu pour des agents comme Claude Code, Cursor ou Codex travaillant sur des projets de recherche en sciences cognitives computationnelles ou en IA multi-agents.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Al0olo/Agents-village/tree/HEAD/.claude/skills/experiment-design

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Conception d'expérience

Lisez d'abord la section 1 de docs/prd.md. RQ1 est la question phare ; RQ2 et RQ3 sont reportées.

Checklist de pré-enregistrement (à valider avant la première exécution)

  • Question, hypothèse et résultat qui la réfuterait.
  • Bras expérimentaux et contraste principal (RQ1 : admission par le noyau contre le meilleur bras de prompt).
  • Le village de base fonctionne sans défense jusqu'au fork (ADR-0003) ; indiquer la proportion d'entrées centrales et partagées au fork que la règle du noyau aurait refusées.
  • Unité d'analyse : le village ou le bloc apparié. Blocs, forks et leur nombre, avec le pilote qui le détermine.
  • Mesures, comment chacune est codée, qui ou quoi la code (juge en aveugle plus échantillon validé par un humain).
  • Mix de modèles, identifiants d'instantanés épinglés, fournisseur routé, bascules désactivées, bras lancés ensemble.
  • Faits inventés : entités fictives uniquement, plausibilité et statut du planteur contrebalancés.
  • Bras exploratoires (par exemple F, mémoire standard) étiquetés comme exploratoires, exclus du contraste principal et de la correction de multiplicité.
  • Contrôles : sonde de prise de conscience, contrôle de paraphrase de prompt, contrôle de blocs aléatoires appariés en volume.
  • Règles d'exclusion pour les villages plantés, règle d'arrêt, plan pour les modèles obsolètes.
  • Analyse : différences intra-blocs appariées, tailles d'effet avec intervalles, correction pour comparaisons multiples, estimation de puissance et comment elle sera recalculée à partir du pilote.
  • Conditions de soutien et de réfutation rédigées à l'avance.

Rappels statistiques

  • Le plancher du test de permutation exacte est d'environ 0,029 avec 4 par bras, 0,10 avec 3 par bras, donc les petits plans non appariés ne peuvent pas atteindre la significativité. Les forks appariés sont l'outil de puissance.
  • R0 est indéfini avec 7 personnes susceptibles à une résolution quotidienne ; ne l'utilisez pas.
  • Rapporter les résultats négatifs.

Procédure

  1. Rédiger experiments/<rq>/PREREGISTRATION.md à partir de la checklist ; obtenir la relecture du propriétaire.
  2. Exécuter le pilote à 2 blocs ; enregistrer la variance, la corrélation entre forks, la fiabilité du codage, le coût par jour-citoyen.
  3. Geler les configurations (épinglées par hachage), enregistrer sur OSF, puis exécuter.
  4. Analyser exactement comme enregistré ; placer les déviations dans un amendement daté.
  5. Mettre à jour docs/HANDOFF.md.

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

Skills associés