実験の実行
このスキルは実行前にユーザーの明示的な承認が必要です。 Phase 2 後に自動的に開始せず、再現計画のサマリーを提示してユーザーの確認を待ってください。
前提条件
{paper_dir}/reports/check_exp.json— read-exp からの実験計画(優先度、実現可能性、コマンド){paper_dir}/reports/check_code.json— read-code からのコードの問題点(実行前に修正すること)
ワークフロー
- [ ] ステップ 1: 環境を作成
- [ ] ステップ 2: 実験を実行
ステップ 1: 環境を作成
conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# インストールは README に従う
必要に応じてデータ/チェックポイントをダウンロードします。実行前に、check_code.json の warning/error 項目をすべて修正してください。
ステップ 2: 実験を実行
check_exp.json の実験を優先順位(高いものから)に従って実行します。トレーニングよりも評価を優先してください。
各実験について、出力を論文の数値と比較します。check_exp.json を以下のように更新します。
{
"our_result": {"metric": 0.0},
"status": "pass",
"note": "..."
}
| ステータス | 意味 |
|---|---|
pass | 論文と約1-2%以内で一致 |
warning | 部分一致または修正が必要 |
error | 大きな差異がある、または実行不可 |
ヒント
- リポジトリのREADMEに従ってください。推測はしないでください。
- OOMは
errorです。原因を記録し、無制限に再試行しないでください。 - 使用した正確なコマンドとハードウェアを記録してください。