比較論文
概述
將草稿與其最相關的先前工作，在審稿人會攻擊的各個面向上一一並列比較，且每個儲存格都可追溯到原始引用句子及其所屬章節。
此工具蒐集證據；由您自行下結論。 它只在兩個面向——訓練規模比率和種子數——上進行計算，因為這兩個面向是可算術驗證的。在其他所有面向，它只顯示兩段引文並就此打住。"這些協定不同" 讀起來像是一個發現，但它是一個判斷，而一個會做出判斷的工具，最終會在您簽署姓名的文件中做出錯誤判斷。
這項工作自動化了 reviewing-paper-sources/reference/claim-audit.md 中所謂的 "基線訓練規模與其已發布規模的比較" 檢查，否則這意味著需要閱讀兩個附錄並進行一次乘法運算。
執行方式
python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
--against "SNIP: Bridging Mathematical Symbolic and Numeric Realms" \
--out review-assets/
# 直接從差距掃描的短列表中獲取
python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
--from-candidates review-assets/candidates.json --grade THREAT
從論文目錄使用絕對路徑執行。僅需標準函式庫。--against 接受標題、DOI 或 arXiv ID，並可重複使用；--limit 限制擷取的論文數量（預設為 5 篇）。
輸出 paper-comparison-<date>.md 和 comparison.json。退出碼 2 表示某些論文只能取得摘要。
資料取得階梯
1. arXiv e-print 原始碼 LaTeX，使用 stdlib tarfile/gzip 讀取
2. arXiv PDF 透過 pdftotext，僅在該二進位檔案已安裝時
3. 開放取用 PDF 透過 OpenAlex oa_url，同上限制
4. 摘要 降級
使用 LaTeX 原始碼有充分理由。 訓練規模、種子數和計算預算都藏在附錄裡，而附錄正是 PDF 提取會搞砸的地方。階梯 1 完全不需要 PDF 解析，且能保持章節標題的精確性。在 SNIP 論文中，它產生了 66 個章節，包括 "Pre-training Data Details"；整個比較的關鍵數字就在其中。
落入階梯 4 的文件會被標記為 降級，報告中會明確說明，因為「在摘要中未找到」並不等於「不存在」。
數字藏在 LaTeX 數學式中。 SNIP 將其規模寫為 $60$ million，草稿寫為 $10^5$ updates，而 1{,}000 是千位分隔符。在進行任何提取之前，會先去除這些分隔符——如果沒有這一步，每個數字模式都會在無聲無息中比對失敗。
比較面向
| 面向 | 審稿人在意什麼 |
|---|---|
problem | 論文宣稱要解決的問題 |
data | 資料集與語料庫 |
training_scale | 以遠低於其已發布規模的規模重新訓練基線，可以製造出頭條結果 |
checkpoint | 如果存在官方檢查點但未被評估，這會是第一道提問 |
seeds | 只有一個種子意味著信賴區間描述的是評估雜訊，而非訓練變異性 |
metrics | 比較是否在同一個基礎上進行 |
results | 頭條數據 |
compute | 該方法用來換取其品質的實際成本 |
training_scale 優先採用明確的總數（"大約在 6000 萬個樣本上預訓練"），否則會將更新次數乘以批次大小來計算，並展示計算過程以便您驗證。
測量結果
針對同一份草稿，與先前的人工審查進行標竿測試，該人工審查手動發現了規模差距並將其評級為 關鍵。此工具從原始文字中重現了該發現：
| 面向 | 草稿 | SNIP |
|---|---|---|
training_scale | 640 萬個樣本（10 萬次更新 × 64 批次），最佳化 | 6000 萬個樣本（明確說明），預訓練 |
seeds | "所有變體均從頭開始訓練，使用訓練種子 0"，超參數選擇 | — |
並產生了計算後的備註 "640 萬 vs 6000 萬——約為另一篇論文規模的 11%"，與審查報告的 10.7% 相符。通過 10 項驗收標準，68 項離線測試。
限制
- 描述性面向比數值型面向弱。
problem、data和metrics會找到 某個 相關句子，但不一定是最好的。請將它們視為文字中的指針；將training_scale、seeds和compute視為發現。 —表示沒有句子匹配，而不是論文省略了它。 在報告缺失之前，請先檢查原文。- 發布資訊通常不在稿件中。 SNIP 的
SNIP-10dmax檢查點是公開的，但該字串從未出現在論文中——檢查點面向正確但無用地回報了 未找到。請查閱儲存庫。 - 僅限於論文中的文字。 如果協定差異從未被陳述，沒有任何提取器能找到它。
- 在三項審查技能中最慢：arXiv 有 3 秒的速率限制，且 e-print tarball 檔案較大。
參見
reference/axes.md— 每個面向揭露了什麼以及如何處理reviewing-paper-sources— 第 4 階段（聲明審計）和第 0 階段提供此技能surveying-literature— 產生此技能所使用的candidates.json短列表