运行实验
此技能需要用户在显式批准后才能执行。 不要在第二阶段后自动开始——向用户展示复现计划摘要,并等待用户确认。
前提条件
{paper_dir}/reports/check_exp.json——来自 read-exp 的实验计划(优先级、可行性、命令){paper_dir}/reports/check_code.json——来自 read-code 的代码问题(运行前必须修复)
工作流程
- [ ] 步骤 1:创建环境
- [ ] 步骤 2:运行实验
步骤 1:创建环境
conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# 按照 README 进行安装
根据需要下载数据/检查点。在运行之前,先修复 check_code.json 中的任何 warning/error 项。
步骤 2:运行实验
按照 check_exp.json 中的优先级顺序(高优先级优先)运行实验。优先选择评估而非训练。
对于每个实验,将输出结果与论文中的数字进行比较。更新 check_exp.json 为:
{
"our_result": {"metric": 0.0},
"status": "pass",
"note": "..."
}
| 状态 | 含义 |
|---|---|
pass | 与论文匹配,误差在约 1-2% 以内 |
warning | 部分匹配或需要修复 |
error | 显著差异或无法运行 |
提示
- 遵循仓库的 README——不要猜测
- OOM(内存不足)视为
error——注明原因,不要无休止地重试 - 记录使用的确切命令和硬件