執行實驗
此技能需要明確的使用者核准後才能執行。 請不要在 Phase 2 後自動開始 — 請先呈現再現計畫摘要,並等待使用者確認。
先決條件
{paper_dir}/reports/check_exp.json— 來自 read-exp 的實驗計畫(優先順序、可行性、指令){paper_dir}/reports/check_code.json— 來自 read-code 的程式碼問題(執行前需修正)
工作流程
- [ ] 步驟 1:建立環境
- [ ] 步驟 2:執行實驗
步驟 1:建立環境
conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# 按照 README 進行安裝
視需要下載資料/檢查點。在執行前,請先修正 check_code.json 中的任何 warning/error 項目。
步驟 2:執行實驗
按照 check_exp.json 中的優先順序(高優先先執行)執行實驗。優先採用評估而非訓練。
對於每個實驗,將輸出結果與論文中的數字進行比較。更新 check_exp.json,加入:
{
"our_result": {"metric": 0.0},
"status": "pass",
"note": "..."
}
| 狀態 | 意義 |
|---|---|
pass | 與論文匹配,誤差約 1-2% 內 |
warning | 部分匹配或需要修正 |
error | 顯著差異或無法執行 |
提示
- 請遵循儲存庫的 README — 請勿猜測
- OOM 視為
error— 記錄原因,不要無休止地重試 - 記錄使用的確切指令與硬體資訊