chgagne/claude-skills-research

Comparación de Artículos

Resumen

Coloca un borrador y el trabajo previo más cercano uno al lado del otro en los ejes que atacan los revisores, con cada celda trazable a una oración citada y la sección de la que proviene.

La herramienta reúne evidencia; tú sacas la conclusión. Calcula una nota exactamente en dos ejes — una relación de escala de entrenamiento y un conteo de semillas — porque esos son aritméticos. En todos los demás ejes muestra dos pasajes y se detiene. "Estos protocolos difieren" suena como un hallazgo pero es un juicio, y una herramienta que lo emite eventualmente lo hará mal en un documento que firmas con tu nombre.

Esto automatiza la verificación que reviewing-paper-sources/reference/claim-audit.md llama "escala de entrenamiento de línea base vs su escala publicada", que de otro modo significa leer dos apéndices y hacer una multiplicación.

Ejecútalo

python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
    --against "SNIP: Bridging Mathematical Symbolic and Numeric Realms" \
    --out review-assets/

# toma la lista breve directamente de un barrido de brechas
python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
    --from-candidates review-assets/candidates.json --grade THREAT

Ejecuta desde la ruta absoluta del directorio del artículo. Solo stdlib. --against acepta un título, un DOI o un id de arXiv y se repite; --limit limita cuántos artículos se obtienen (por defecto 5).

Escribe paper-comparison-<fecha>.md y comparison.json. El código de salida 2 significa que algún artículo solo fue accesible como resumen.

La escalera de adquisición

1. Código fuente de arXiv e-print  LaTeX, leído con stdlib tarfile/gzip
2. PDF de arXiv                    vía pdftotext, solo si ese binario está instalado
3. PDF de acceso abierto           vía OpenAlex oa_url, misma advertencia
4. resumen                         degradado

El código fuente LaTeX lidera por una razón. La escala de entrenamiento, los conteos de semillas y los presupuestos de cómputo viven en apéndices, y los apéndices son lo que la extracción de PDF destruye. El escalón 1 no necesita análisis de PDF y mantiene los encabezados de sección exactos. En el artículo SNIP produce 66 secciones incluyendo "Detalles de Datos de Pre-entrenamiento"; el número del que depende toda la comparación está ahí.

Un documento que cae al escalón 4 se marca como degradado y el informe lo dice, porque "no encontrado en el resumen" no es evidencia de ausencia.

Los números se esconden dentro de las matemáticas LaTeX. SNIP escribe su escala como $60$ millones, el borrador escribe $10^5$ actualizaciones, y 1{,}000 es un separador de miles. Los delimitadores se eliminan antes de cualquier extracción — sin ese paso cada patrón numérico no coincide con nada en silencio.

Ejes

Eje	Por qué se preocupa un revisor
problem	lo que el artículo afirma resolver
data	conjuntos de datos y corpus
training_scale	una línea base reentrenada a una fracción de su escala publicada puede fabricar el resultado principal
checkpoint	si existe un punto de control oficial y no fue evaluado, esa es la primera pregunta que se hace
seeds	una semilla significa que los intervalos de confianza describen el ruido de evaluación, no la varianza de entrenamiento
metrics	si la comparación es comparable
results	los números principales
compute	el costo con el que el método compra realmente su calidad

training_scale prefiere un total declarado ("pre-entrenado en aproximadamente 60 millones de ejemplos") y de lo contrario multiplica actualizaciones por tamaño de lote, mostrando la aritmética para que puedas verificarla.

Resultado medido

Comparado con una revisión humana previa del mismo borrador, que encontró la brecha de escala a mano y la calificó como crítica. La herramienta la reproduce a partir del texto fuente:

Eje	Borrador	SNIP
training_scale	6.4M ejemplos (100K actualizaciones × 64 lote), Optimización	60M ejemplos (declarado), Pre-entrenamiento
seeds	"Todas las variantes se entrenan desde cero con semilla de entrenamiento 0", Selección de hiperparámetros	—

con la nota calculada "6.4M vs 60M — aproximadamente el 11% de la escala del otro artículo", coincidiendo con el 10.7% de la revisión. 10 criterios de aceptación, 68 pruebas fuera de línea.

Límites

• Los ejes descriptivos son más débiles que los numéricos. problem, data y metrics encuentran una oración relevante, no necesariamente la mejor. Trátalos como punteros al texto; trata training_scale, seeds y compute como hallazgos.
• — significa que ninguna oración coincidió, no que el artículo lo omita. Verifica la fuente antes de reportar una ausencia.
• La información de publicación a menudo no está en el manuscrito. El punto de control SNIP-10dmax de SNIP es público, pero la cadena nunca aparece en el artículo — el eje de punto de control reporta no encontrado para él, correcta e inútilmente. Mira el repositorio.
• Solo lo que el artículo escribió. Si una diferencia de protocolo nunca se declara, ningún extractor la encuentra.
• Es la más lenta de las tres habilidades de revisión: arXiv está limitado a 3s y los tarballs de e-print son grandes.

Ver también

• reference/axes.md — qué expone cada eje y qué hacer con él
• reviewing-paper-sources — la fase 4 (auditoría de afirmaciones) y la fase 0 ofrecen esta habilidad
• surveying-literature — produce la lista breve candidates.json que esta consume