Communitygithub.com

QinghongLin/paperdoctor

PaperDoctor : retour d'information fondé sur des preuves et exploitable pour des articles scientifiques en cours

Qu'est-ce que paperdoctor ?

PaperDoctor est une compétence pour agents IA conçue pour automatiser la reproduction et la validation des expériences décrites dans des articles scientifiques en cours. Elle prend en charge des plateformes comme Claude Code, Cursor et Codex, et s'intègre dans un flux de travail structuré. L'agent commence par lire les plans d'expérience et les problèmes de code à partir de fichiers JSON spécifiques dans le répertoire de l'article. Ensuite, il crée un environnement Conda, installe les dépendances, télécharge les données et les points de contrôle, et exécute les expériences par ordre de priorité, en privilégiant l'évaluation à l'entraînement. Pour chaque expérience, l'agent compare les résultats avec les chiffres rapportés dans l'article et met à jour le fichier de plan d'expérience avec le statut (réussi, avertissement ou erreur). Cette compétence est utile car elle permet de vérifier rapidement et systématiquement la reproductibilité des résultats scientifiques, ce qui est essentiel pour la révision par les pairs et l'avancement de la recherche. Elle nécessite une approbation explicite de l'utilisateur avant de s'exécuter, garantissant ainsi un contrôle humain sur le processus.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add QinghongLin/paperdoctor

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Exécuter des expériences

Cette compétence nécessite une approbation explicite de l'utilisateur avant exécution. Ne démarrez pas automatiquement après la phase 2 — présentez le résumé du plan de reproduction et attendez la confirmation de l'utilisateur.

Prérequis

  • {paper_dir}/reports/check_exp.json — plan d'expérience provenant de read-exp (priorité, faisabilité, commandes)
  • {paper_dir}/reports/check_code.json — problèmes de code provenant de read-code (à corriger avant exécution)

Flux de travail

- [ ] Étape 1 : Créer l'environnement
- [ ] Étape 2 : Exécuter les expériences

Étape 1 : Créer l'environnement

conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# suivre le README pour l'installation

Téléchargez les données/points de contrôle selon les besoins. Corrigez tout élément warning/error de check_code.json avant d'exécuter.


Étape 2 : Exécuter les expériences

Exécutez les expériences de check_exp.json par ordre de priorité (priorité élevée d'abord). Préférez l'évaluation à l'entraînement.

Pour chaque expérience, comparez le résultat avec les chiffres de l'article. Mettez à jour check_exp.json avec :

{
  "our_result": {"metric": 0.0},
  "status": "pass",
  "note": "..."
}
StatutSignification
passCorrespond à l'article à ~1-2% près
warningCorrespondance partielle ou corrections nécessaires
errorDifférence significative ou impossible à exécuter

Conseils

  • Suivez le README du dépôt — ne devinez pas
  • OOM est error — notez la cause, ne réessayez pas indéfiniment
  • Enregistrez la commande exacte et le matériel utilisé

Skills associés