Communitygithub.com

QinghongLin/paperdoctor

PaperDoctor: Retroalimentación fundamentada en evidencia y procesable para artículos científicos en progreso.

¿Qué es paperdoctor?

PaperDoctor es una habilidad de agente de IA diseñada para reproducir y verificar experimentos descritos en un artículo científico, proporcionando retroalimentación procesable basada en evidencia. Su objetivo principal es ejecutar el plan de experimentos generado por `read-exp`, validar los resultados contra las afirmaciones del artículo e informar discrepancias. Para ello, primero crea un entorno Conda aislado, instala las dependencias según el README del repositorio asociado y soluciona cualquier problema de código identificado por `read-code`. Luego, ejecuta los experimentos en orden de prioridad, prefiriendo evaluación sobre entrenamiento, y compara cada resultado con los números reportados en el artículo. La habilidad actualiza el archivo `check_exp.json` con los resultados obtenidos, asignando un estado ('pass', 'warning', 'error') y una nota explicativa. Soporta plataformas como Claude Code y entornos de desarrollo similares que utilicen sistemas de archivos locales y Conda. PaperDoctor es útil para revisores, autores y desarrolladores que necesitan verificar la reproducibilidad de investigaciones, ahorrando tiempo al automatizar la ejecución y comparación de experimentos.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add QinghongLin/paperdoctor

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Ejecutar Experimentos

Esta habilidad requiere aprobación explícita del usuario antes de ejecutarse. No inicie automáticamente después de la Fase 2 — presente el resumen del plan de reproducción y espere la confirmación del usuario.

Requisitos previos

  • {paper_dir}/reports/check_exp.json — plan de experimentos de read-exp (prioridad, viabilidad, comandos)
  • {paper_dir}/reports/check_code.json — problemas de código de read-code (corregir antes de ejecutar)

Flujo de trabajo

- [ ] Paso 1: Crear entorno
- [ ] Paso 2: Ejecutar experimentos

Paso 1: Crear Entorno

conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# seguir el README para la instalación

Descargar datos/puntos de control según sea necesario. Corrija cualquier elemento de advertencia/error de check_code.json antes de ejecutar.


Paso 2: Ejecutar Experimentos

Ejecute los experimentos de check_exp.json en orden de prioridad (primero los de alta prioridad). Prefiera evaluación sobre entrenamiento.

Para cada experimento, compare el resultado con los números del artículo. Actualice check_exp.json con:

{
  "our_result": {"métrica": 0.0},
  "status": "pass",
  "note": "..."
}
EstadoSignificado
passCoincide con el artículo dentro de ~1-2%
warningCoincidencia parcial o se necesitaron correcciones
errorDiferencia significativa o no se pudo ejecutar

Consejos

  • Siga el README del repositorio — no adivine
  • OOM (falta de memoria) es error — anote la causa, no reintente indefinidamente
  • Registre el comando exacto y el hardware utilizado

Skills relacionados