Executar Experimentos
Esta habilidade requer aprovação explícita do usuário antes da execução. Não inicie automaticamente após a Fase 2 — apresente o resumo do plano de reprodução e aguarde a confirmação do usuário.
Pré-requisitos
{paper_dir}/reports/check_exp.json— plano de experimentos do read-exp (prioridade, viabilidade, comandos){paper_dir}/reports/check_code.json— problemas de código do read-code (corrigir antes de executar)
Fluxo de Trabalho
- [ ] Etapa 1: Criar ambiente
- [ ] Etapa 2: Executar experimentos
Etapa 1: Criar Ambiente
conda create -n paperdr-{paper_stem} python=<versão> -y
conda activate paperdr-{paper_stem}
# seguir o README para instalação
Baixar dados/checkpoints conforme necessário. Corrigir quaisquer itens de warning/error do check_code.json antes de executar.
Etapa 2: Executar Experimentos
Executar experimentos de check_exp.json em ordem de prioridade (alta primeiro). Preferir avaliação em vez de treinamento.
Para cada experimento, comparar a saída com os números do artigo. Atualizar check_exp.json com:
{
"our_result": {"métrica": 0.0},
"status": "pass",
"note": "..."
}
| Status | Significado |
|---|---|
pass | Corresponde ao artigo dentro de ~1-2% |
warning | Correspondência parcial ou correções necessárias |
error | Diferença significativa ou não foi possível executar |
Dicas
- Siga o README do repositório — não adivinhe
- OOM é
error— anote a causa, não tente repetir indefinidamente - Registre o comando exato e o hardware utilizado