Experimente ausführen
Dieser Skill erfordert die explizite Zustimmung des Benutzers vor der Ausführung. Starten Sie nach Phase 2 nicht automatisch – legen Sie eine Zusammenfassung des Reproduktionsplans vor und warten Sie auf die Bestätigung des Benutzers.
Voraussetzungen
{paper_dir}/reports/check_exp.json— Experimentplan ausread-exp(Priorität, Machbarkeit, Befehle){paper_dir}/reports/check_code.json— Code-Probleme ausread-code(vor der Ausführung beheben)
Arbeitsablauf
- [ ] Schritt 1: Umgebung erstellen
- [ ] Schritt 2: Experimente ausführen
Schritt 1: Umgebung erstellen
conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# Befolgen Sie die README zur Installation
Laden Sie bei Bedarf Daten/Checkpoints herunter. Beheben Sie vor der Ausführung alle warning/error-Einträge aus der check_code.json.
Schritt 2: Experimente ausführen
Führen Sie Experimente aus der check_exp.json in der Reihenfolge ihrer Priorität aus (zuerst hohe Priorität). Bevorzugen Sie Evaluation vor Training.
Vergleichen Sie für jedes Experiment die Ausgabe mit den Zahlen aus dem Paper. Aktualisieren Sie check_exp.json mit:
{
"our_result": {"metric": 0.0},
"status": "pass",
"note": "..."
}
| Status | Bedeutung |
|---|---|
pass | Entspricht dem Paper innerhalb von ~1-2% |
warning | Teilweise Übereinstimmung oder notwendige Korrekturen |
error | Signifikante Abweichung oder Ausführung nicht möglich |
Tipps
- Befolgen Sie die README des Repositorys – nicht raten
- OOM (Out of Memory) ist
error– Ursache notieren, nicht endlos wiederholen - Notieren Sie den genauen Befehl und die verwendete Hardware