Communitygithub.com

QinghongLin/paperdoctor

PaperDoctor: Evidenzbasierte und umsetzbare Rückmeldungen für laufende wissenschaftliche Arbeiten

Was ist paperdoctor?

PaperDoctor ist ein KI-Agenten-Skill, der dazu dient, wissenschaftliche Paper in Bearbeitung zu reproduzieren, zu validieren und detailliertes, umsetzbares Feedback zu geben. Der Skill arbeitet in einer zweistufigen Pipeline: Zuerst wird basierend auf den Ergebnissen aus den vorherigen Phasen (`read-exp` und `read-code`) eine geeignete Ausführungsumgebung erstellt, und dann werden Experimente in priorisierter Reihenfolge ausgeführt. Während der Ausführung werden die Ergebnisse automatisch mit den im Paper angegebenen Werten verglichen. Der Skill ist für die Arbeit mit lokalen Paper-Verzeichnissen konzipiert, die durch die Phasen `read-exp` und `read-code` vorverarbeitet wurden, wobei automatisch nach Abweichungen gesucht und der Status der Ergebnisse in einer JSON-Datei festgehalten wird. Der Skill ist besonders nützlich für Forscher und Entwickler, die sicherstellen möchten, dass die Ergebnisse eines Papers reproduzierbar sind, und die detaillierte Einblicke in Abweichungen und Optimierungsmöglichkeiten erhalten möchten. Er unterstützt die automatische Ausführung von Experimenten in Conda-Umgebungen und bietet klare Statuskategorien (pass/warning/error) für jedes Experiment.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add QinghongLin/paperdoctor

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Experimente ausführen

Dieser Skill erfordert die explizite Zustimmung des Benutzers vor der Ausführung. Starten Sie nach Phase 2 nicht automatisch – legen Sie eine Zusammenfassung des Reproduktionsplans vor und warten Sie auf die Bestätigung des Benutzers.

Voraussetzungen

  • {paper_dir}/reports/check_exp.json — Experimentplan aus read-exp (Priorität, Machbarkeit, Befehle)
  • {paper_dir}/reports/check_code.json — Code-Probleme aus read-code (vor der Ausführung beheben)

Arbeitsablauf

- [ ] Schritt 1: Umgebung erstellen
- [ ] Schritt 2: Experimente ausführen

Schritt 1: Umgebung erstellen

conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# Befolgen Sie die README zur Installation

Laden Sie bei Bedarf Daten/Checkpoints herunter. Beheben Sie vor der Ausführung alle warning/error-Einträge aus der check_code.json.


Schritt 2: Experimente ausführen

Führen Sie Experimente aus der check_exp.json in der Reihenfolge ihrer Priorität aus (zuerst hohe Priorität). Bevorzugen Sie Evaluation vor Training.

Vergleichen Sie für jedes Experiment die Ausgabe mit den Zahlen aus dem Paper. Aktualisieren Sie check_exp.json mit:

{
  "our_result": {"metric": 0.0},
  "status": "pass",
  "note": "..."
}
StatusBedeutung
passEntspricht dem Paper innerhalb von ~1-2%
warningTeilweise Übereinstimmung oder notwendige Korrekturen
errorSignifikante Abweichung oder Ausführung nicht möglich

Tipps

  • Befolgen Sie die README des Repositorys – nicht raten
  • OOM (Out of Memory) ist error – Ursache notieren, nicht endlos wiederholen
  • Notieren Sie den genauen Befehl und die verwendete Hardware

Verwandte Skills