Communitygithub.com

PaperDoctor:科学论文的循证可操作反馈工具

PaperDoctor 为正在撰写的科学论文提供基于证据、可操作的反馈,帮助研究人员改进论文。

PaperDoctor:科学论文的循证可操作反馈工具 是什么?

PaperDoctor 是一个专门为科学论文(尤其是计算机科学和实验性研究领域)提供反馈的 AI 助手技能。它能够自动获取并评估论文的实验计划与代码问题,然后按优先级执行实验,并将结果与论文报告的数字进行比较。该技能支持使用 conda 创建隔离环境,自动下载必要的数据和检查点,并优先运行高优先级的实验。执行完成后,它会更新实验计划 JSON 文件,记录结果、状态(通过/警告/错误)和说明。其核心价值在于将论文评审中的实验验证环节自动化、标准化,让作者和审稿人能快速发现实验与论文报告之间的差异。主要支持通过 conda 和 Python 进行本地执行,适用于任何具有标准实验结构的论文仓库。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add QinghongLin/paperdoctor

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

运行实验

此技能需要用户在显式批准后才能执行。 不要在第二阶段后自动开始——向用户展示复现计划摘要,并等待用户确认。

前提条件

  • {paper_dir}/reports/check_exp.json——来自 read-exp 的实验计划(优先级、可行性、命令)
  • {paper_dir}/reports/check_code.json——来自 read-code 的代码问题(运行前必须修复)

工作流程

- [ ] 步骤 1:创建环境
- [ ] 步骤 2:运行实验

步骤 1:创建环境

conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# 按照 README 进行安装

根据需要下载数据/检查点。在运行之前,先修复 check_code.json 中的任何 warning/error 项。


步骤 2:运行实验

按照 check_exp.json 中的优先级顺序(高优先级优先)运行实验。优先选择评估而非训练。

对于每个实验,将输出结果与论文中的数字进行比较。更新 check_exp.json 为:

{
  "our_result": {"metric": 0.0},
  "status": "pass",
  "note": "..."
}
状态含义
pass与论文匹配,误差在约 1-2% 以内
warning部分匹配或需要修复
error显著差异或无法运行

提示

  • 遵循仓库的 README——不要猜测
  • OOM(内存不足)视为 error——注明原因,不要无休止地重试
  • 记录使用的确切命令和硬件

相关技能