Ejecutar Experimentos
Esta habilidad requiere aprobación explícita del usuario antes de ejecutarse. No inicie automáticamente después de la Fase 2 — presente el resumen del plan de reproducción y espere la confirmación del usuario.
Requisitos previos
{paper_dir}/reports/check_exp.json— plan de experimentos deread-exp(prioridad, viabilidad, comandos){paper_dir}/reports/check_code.json— problemas de código deread-code(corregir antes de ejecutar)
Flujo de trabajo
- [ ] Paso 1: Crear entorno
- [ ] Paso 2: Ejecutar experimentos
Paso 1: Crear Entorno
conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# seguir el README para la instalación
Descargar datos/puntos de control según sea necesario. Corrija cualquier elemento de advertencia/error de check_code.json antes de ejecutar.
Paso 2: Ejecutar Experimentos
Ejecute los experimentos de check_exp.json en orden de prioridad (primero los de alta prioridad). Prefiera evaluación sobre entrenamiento.
Para cada experimento, compare el resultado con los números del artículo. Actualice check_exp.json con:
{
"our_result": {"métrica": 0.0},
"status": "pass",
"note": "..."
}
| Estado | Significado |
|---|---|
pass | Coincide con el artículo dentro de ~1-2% |
warning | Coincidencia parcial o se necesitaron correcciones |
error | Diferencia significativa o no se pudo ejecutar |
Consejos
- Siga el README del repositorio — no adivine
- OOM (falta de memoria) es
error— anote la causa, no reintente indefinidamente - Registre el comando exacto y el hardware utilizado