Communitygithub.com

QinghongLin/paperdoctor

PaperDoctor: Feedback fundamentado em evidências e acionável para artigos científicos em andamento

O que é paperdoctor?

O PaperDoctor é uma habilidade de agente de IA que fornece feedback detalhado e acionável para artigos científicos em andamento, ajudando a verificar a reprodutibilidade dos experimentos e a qualidade do código. Ele suporta plataformas como Claude Code, Cursor e Codex, e funciona analisando o plano de experimentos e os problemas de código identificados anteriormente, executando os experimentos em um ambiente controlado e comparando os resultados com os valores reportados no artigo. A habilidade é útil para garantir que os experimentos sejam reproduzíveis e que o código esteja livre de erros antes da submissão, oferecendo uma abordagem sistemática para validar e melhorar a qualidade dos artigos científicos. O processo envolve a criação de um ambiente conda, a instalação de dependências e a execução dos experimentos em ordem de prioridade, registrando resultados e notas para cada teste.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add QinghongLin/paperdoctor

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Executar Experimentos

Esta habilidade requer aprovação explícita do usuário antes da execução. Não inicie automaticamente após a Fase 2 — apresente o resumo do plano de reprodução e aguarde a confirmação do usuário.

Pré-requisitos

  • {paper_dir}/reports/check_exp.json — plano de experimentos do read-exp (prioridade, viabilidade, comandos)
  • {paper_dir}/reports/check_code.json — problemas de código do read-code (corrigir antes de executar)

Fluxo de Trabalho

- [ ] Etapa 1: Criar ambiente
- [ ] Etapa 2: Executar experimentos

Etapa 1: Criar Ambiente

conda create -n paperdr-{paper_stem} python=<versão> -y
conda activate paperdr-{paper_stem}
# seguir o README para instalação

Baixar dados/checkpoints conforme necessário. Corrigir quaisquer itens de warning/error do check_code.json antes de executar.


Etapa 2: Executar Experimentos

Executar experimentos de check_exp.json em ordem de prioridade (alta primeiro). Preferir avaliação em vez de treinamento.

Para cada experimento, comparar a saída com os números do artigo. Atualizar check_exp.json com:

{
  "our_result": {"métrica": 0.0},
  "status": "pass",
  "note": "..."
}
StatusSignificado
passCorresponde ao artigo dentro de ~1-2%
warningCorrespondência parcial ou correções necessárias
errorDiferença significativa ou não foi possível executar

Dicas

  • Siga o README do repositório — não adivinhe
  • OOM é error — anote a causa, não tente repetir indefinidamente
  • Registre o comando exato e o hardware utilizado

Habilidades Relacionadas