chgagne/claude-skills-research

Vergleich von Papieren

Übersicht

Setzt einen Entwurf und seine nächste frühere Arbeit nebeneinander auf den Achsen, die Gutachter angreifen, wobei jede Zelle auf einen zitierten Satz und den Abschnitt, aus dem er stammt, zurückverfolgbar ist.

Das Tool sammelt Beweise; Sie ziehen die Schlussfolgerung. Es berechnet eine Notiz zu genau zwei Achsen – einem Trainingsskalenverhältnis und einer Seed-Anzahl –, weil diese arithmetisch sind. Auf jeder anderen Achse zeigt es zwei Textpassagen und stoppt. "Diese Protokolle unterscheiden sich" klingt wie ein Ergebnis, ist aber ein Urteil, und ein Tool, das es fällt, wird es irgendwann in einem Dokument, das Sie unterschreiben, falsch machen.

Dies automatisiert die Prüfung, die reviewing-paper-sources/reference/claim-audit.md als "Baseline-Trainingsumfang vs. sein veröffentlichter Umfang" bezeichnet, was sonst das Lesen von zwei Anhängen und eine Multiplikation bedeutet.

Ausführen

python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
    --against "SNIP: Brückenschlag zwischen mathematischen symbolischen und numerischen Bereichen" \
    --out review-assets/

# die Shortlist direkt aus einem Gap-Sweep übernehmen
python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
    --from-candidates review-assets/candidates.json --grade THREAT

Ausführung mit absolutem Pfad aus dem Papierverzeichnis. Nur Stdlib. --against akzeptiert einen Titel, eine DOI oder eine arXiv-ID und wiederholt sich; --limit begrenzt die Anzahl der abgerufenen Papiere (Standard 5).

Schreibt paper-comparison-<date>.md und comparison.json. Exit-Code 2 bedeutet, dass ein Papier nur als Abstract erreichbar war.

Die Erwerbsleiter

1. arXiv-Quelltext (LaTeX)  mit stdlib tarfile/gzip lesen
2. arXiv-PDF                 über pdftotext, nur wenn diese Binärdatei installiert ist
3. Open-Access-PDF           über OpenAlex oa_url, gleiche Einschränkung
4. Abstract                  degradiert

LaTeX-Quelltext wird aus gutem Grund bevorzugt. Trainingsumfang, Seed-Anzahlen und Rechenbudgets befinden sich in Anhängen, und Anhänge sind das, was die PDF-Extraktion verstümmelt. Stufe 1 benötigt keine PDF-Analyse und behält die Abschnittsüberschriften exakt. Im SNIP-Papier liefert es 66 Abschnitte, darunter "Details zu den Voraussetzungsdaten"; die Zahl, um die sich der Vergleich dreht, befindet sich darin.

Ein Dokument, das auf Stufe 4 fällt, wird als degradiert markiert, und der Bericht sagt dies, denn "nicht im Abstract gefunden" ist kein Beweis für Abwesenheit.

Zahlen verstecken sich in LaTeX-Mathematik. SNIP schreibt seinen Umfang als $60$ Millionen, der Entwurf schreibt $10^5$ Aktualisierungen, und 1{,}000 ist ein Tausendertrennzeichen. Trennzeichen werden vor jeder Extraktion entfernt – ohne diesen Schritt stimmt jedes numerische Muster stillschweigend mit nichts überein.

Achsen

Achse	Warum ein Gutachter sich dafür interessiert
problem	was das Papier zu lösen behauptet
data	Datensätze und Korpora
training_scale	Ein Baseline-Modell, das mit einem Bruchteil seines veröffentlichten Umfangs neu trainiert wurde, kann das wichtigste Ergebnis künstlich erzeugen
checkpoint	Wenn ein offizieller Checkpoint existiert und nicht evaluiert wurde, ist das die erste Frage, die gestellt wird
seeds	Ein Seed bedeutet, dass Konfidenzintervalle das Evaluierungsrauschen beschreiben, nicht die Trainingsvarianz
metrics	ob der Vergleich gleichartig ist
results	die wichtigsten Zahlen
compute	die Kosten, mit denen die Methode tatsächlich ihre Qualität erkauft

training_scale bevorzugt eine angegebene Gesamtzahl ("vorab trainiert auf etwa 60 Millionen Beispielen") und multipliziert andernfalls Aktualisierungen mit der Batch-Größe, wobei die Arithmetik gezeigt wird, damit Sie sie überprüfen können.

Gemessenes Ergebnis

Benchmark gegen eine vorherige menschliche Überprüfung desselben Entwurfs, die die Skalenlücke von Hand fand und als kritisch einstufte. Das Tool reproduziert sie aus dem Quelltext:

Achse	Entwurf	SNIP
training_scale	6,4 Mio. Beispiele (100.000 Aktualisierungen × 64 Batch), Optimierung	60 Mio. Beispiele (angegeben), Voraussetzung
seeds	"Alle Varianten werden von Grund auf mit Trainings-Seed 0 trainiert", Hyperparameterauswahl	—

mit der berechneten Notiz "6,4 Mio. vs. 60 Mio. – etwa 11% des Umfangs des anderen Papiers", was den 10,7% der Überprüfung entspricht. 10 Akzeptanzkriterien, 68 Offline-Tests.

Grenzen

• Die deskriptiven Achsen sind schwächer als die numerischen. problem, data und metrics finden einen relevanten Satz, nicht unbedingt den besten. Behandeln Sie sie als Zeiger auf den Text; behandeln Sie training_scale, seeds und compute als Ergebnisse.
• — bedeutet, dass kein Satz übereinstimmt, nicht, dass das Papier ihn auslässt. Überprüfen Sie die Quelle, bevor Sie eine Abwesenheit melden.
• Release-Informationen befinden sich oft nicht im Manuskript. Der SNIP-10dmax-Checkpoint von SNIP ist öffentlich, aber die Zeichenfolge erscheint nie im Papier – die Checkpoint-Achse meldet nicht gefunden dafür, korrekt und unbrauchbar. Sehen Sie sich das Repository an.
• Nur das, was das Papier geschrieben hat. Wenn ein Protokollunterschied nie angegeben wird, findet ihn kein Extraktor.
• Am langsamsten der drei Review-Skills: arXiv ist auf 3s gedrosselt, und E-Print-Tarballs sind groß.

Siehe auch

• reference/axes.md – was jede Achse offenlegt und was damit zu tun ist
• reviewing-paper-sources – Phase 4 (Claim-Audit) und Phase 0 bieten dieses Skill
• surveying-literature – erzeugt die candidates.json-Shortlist, die dieses Skill verbraucht