Exécuter des expériences
Cette compétence nécessite une approbation explicite de l'utilisateur avant exécution. Ne démarrez pas automatiquement après la phase 2 — présentez le résumé du plan de reproduction et attendez la confirmation de l'utilisateur.
Prérequis
{paper_dir}/reports/check_exp.json— plan d'expérience provenant de read-exp (priorité, faisabilité, commandes){paper_dir}/reports/check_code.json— problèmes de code provenant de read-code (à corriger avant exécution)
Flux de travail
- [ ] Étape 1 : Créer l'environnement
- [ ] Étape 2 : Exécuter les expériences
Étape 1 : Créer l'environnement
conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# suivre le README pour l'installation
Téléchargez les données/points de contrôle selon les besoins. Corrigez tout élément warning/error de check_code.json avant d'exécuter.
Étape 2 : Exécuter les expériences
Exécutez les expériences de check_exp.json par ordre de priorité (priorité élevée d'abord). Préférez l'évaluation à l'entraînement.
Pour chaque expérience, comparez le résultat avec les chiffres de l'article. Mettez à jour check_exp.json avec :
{
"our_result": {"metric": 0.0},
"status": "pass",
"note": "..."
}
| Statut | Signification |
|---|---|
pass | Correspond à l'article à ~1-2% près |
warning | Correspondance partielle ou corrections nécessaires |
error | Différence significative ou impossible à exécuter |
Conseils
- Suivez le README du dépôt — ne devinez pas
- OOM est
error— notez la cause, ne réessayez pas indéfiniment - Enregistrez la commande exacte et le matériel utilisé