chgagne/claude-skills-research

Comparaison d'articles

Aperçu

Met un brouillon et ses travaux antérieurs les plus proches côte à côte sur les axes que les relecteurs attaquent, chaque cellule étant rattachable à une phrase citée et à la section d'où elle provient.

L'outil rassemble les preuves ; vous tirez la conclusion. Il calcule une note sur exactement deux axes — un rapport d'échelle d'entraînement et un nombre de seeds — car ceux-ci sont arithmétiques. Sur tous les autres axes, il montre deux passages et s'arrête. « Ces protocoles diffèrent » ressemble à une conclusion mais c'est un jugement, et un outil qui le fait finira par le faire à tort dans un document que vous signez.

Ceci automatise la vérification que reviewing-paper-sources/reference/claim-audit.md appelle "l'échelle d'entraînement de la baseline par rapport à son échelle publiée", ce qui sinon signifie lire deux annexes et faire une multiplication.

Exécution

python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
    --against "SNIP: Bridging Mathematical Symbolic and Numeric Realms" \
    --out review-assets/

# prendre la liste restreinte directement d'un gap sweep
python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
    --from-candidates review-assets/candidates.json --grade THREAT

Exécutez par chemin absolu depuis le répertoire de l'article. Bibliothèque standard uniquement. --against accepte un titre, un DOI ou un identifiant arXiv et se répète ; --limit plafonne le nombre d'articles récupérés (5 par défaut).

Écrit paper-comparison-<date>.md et comparison.json. Le code de sortie 2 signifie qu'un article n'était accessible que sous forme de résumé.

L'échelle d'acquisition

1. Source arXiv e-print  LaTeX, lu avec tarfile/gzip de la stdlib
2. PDF arXiv            via pdftotext, uniquement si ce binaire est installé
3. PDF en libre accès   via OpenAlex oa_url, même condition
4. résumé               dégradé

La source LaTeX est privilégiée pour une raison. L'échelle d'entraînement, les nombres de seeds et les budgets de calcul se trouvent dans les annexes, et les annexes sont ce que l'extraction PDF déforme. Le palier 1 ne nécessite aucune analyse PDF et conserve les titres de sections exacts. Sur l'article SNIP, il produit 66 sections, dont "Pre-training Data Details" ; le nombre sur lequel repose toute la comparaison s'y trouve.

Un document qui tombe au palier 4 est marqué dégradé et le rapport le dit, car "non trouvé dans le résumé" n'est pas une preuve d'absence.

Les nombres se cachent dans les formules LaTeX. SNIP écrit son échelle comme $60$ millions, le brouillon écrit $10^5$ mises à jour, et 1{,}000 est un séparateur de milliers. Les délimiteurs sont supprimés avant toute extraction — sans cette étape, aucun motif numérique ne correspond silencieusement à rien.

Axes

Axe	Pourquoi un relecteur s'en soucie
problem	ce que l'article prétend résoudre
data	jeux de données et corpus
training_scale	une baseline ré-entraînée à une fraction de son échelle publiée peut fabriquer le résultat principal
checkpoint	si un checkpoint officiel existe et n'a pas été évalué, c'est la première question posée
seeds	une seed unique signifie que les intervalles de confiance décrivent le bruit d'évaluation, pas la variance d'entraînement
metrics	si la comparaison est comparable
results	les chiffres principaux
compute	le coût que la méthode achète réellement sa qualité

training_scale préfère un total déclaré ("pré-entraîné sur environ 60 millions d'exemples") et sinon multiplie les mises à jour par la taille de batch, en montrant le calcul pour que vous puissiez le vérifier.

Résultat mesuré

Comparé à une relecture humaine antérieure du même brouillon, qui a trouvé l'écart d'échelle à la main et l'a classé critique. L'outil le reproduit à partir du texte source :

Axe	Brouillon	SNIP
training_scale	6,4M exemples (100K mises à jour × 64 batch), Optimization	60M exemples (déclaré), Pre-training
seeds	"Toutes les variantes sont entraînées from scratch avec la seed d'entraînement 0", Hyperparameter selection	—

avec la note calculée "6,4M vs 60M — environ 11% de l'échelle de l'autre article", correspondant aux 10,7% de la relecture. 10 critères d'acceptation, 68 tests hors ligne.

Limites

• Les axes descriptifs sont moins solides que les axes numériques. problem, data et metrics trouvent une phrase pertinente, pas nécessairement la meilleure. Traitez-les comme des pointeurs vers le texte ; traitez training_scale, seeds et compute comme des conclusions.
• — signifie qu'aucune phrase n'a correspondu, pas que l'article l'omet. Vérifiez la source avant de signaler une absence.
• Les informations de publication ne sont souvent pas dans le manuscrit. Le checkpoint SNIP-10dmax de SNIP est public, mais la chaîne n'apparaît jamais dans l'article — l'axe checkpoint rapporte non trouvé pour celui-ci, correctement mais inutilement. Regardez dans le dépôt.
• Seulement ce que l'article a écrit. Si une différence de protocole n'est jamais énoncée, aucun extracteur ne la trouve.
• Le plus lent des trois compétences de relecture : arXiv est limité à 3s et les tarballs e-print sont volumineux.

Voir aussi

• reference/axes.md — ce que chaque axe expose et quoi en faire
• reviewing-paper-sources — la phase 4 (audit de revendication) et la phase 0 proposent cette compétence
• surveying-literature — produit la liste restreinte candidates.json que celle-ci consomme