실험 실행
이 스킬은 실행 전 명시적인 사용자 승인이 필요합니다. Phase 2 이후 자동으로 시작하지 말고, 재현 계획 요약을 제시한 후 사용자가 확인할 때까지 기다리세요.
필수 조건
{paper_dir}/reports/check_exp.json— read-exp의 실험 계획 (우선순위, 실행 가능성, 명령어){paper_dir}/reports/check_code.json— read-code의 코드 이슈 (실행 전 수정 필요)
워크플로우
- [ ] 단계 1: 환경 생성
- [ ] 단계 2: 실험 실행
단계 1: 환경 생성
conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# README를 따라 설치
필요한 데이터/체크포인트를 다운로드하세요. 실행 전 check_code.json의 warning/error 항목을 수정하세요.
단계 2: 실험 실행
check_exp.json의 실험을 우선순위 순서대로 실행하세요 (높은 순서 먼저). 훈련보다 평가를 선호합니다.
각 실험에 대해 출력을 논문의 수치와 비교하세요. check_exp.json을 다음으로 업데이트하세요:
{
"our_result": {"metric": 0.0},
"status": "pass",
"note": "..."
}
| 상태 | 의미 |
|---|---|
pass | 논문과 약 1-2% 이내로 일치 |
warning | 부분 일치 또는 수정 필요 |
error | 큰 차이 또는 실행 불가 |
팁
- 저장소의 README를 따르세요 — 추측하지 마세요
- OOM은
error입니다 — 원인을 기록하고, 무한히 재시도하지 마세요 - 정확한 명령어와 사용된 하드웨어를 기록하세요