论文对比

概述

将草稿及其最接近的先前工作并排放置在评审者常攻击的维度上，每个单元格都可追溯到引用的句子及其来源章节。

该工具收集证据；由您得出结论。 它仅在两个维度上计算注释——训练规模比率和种子计数——因为这些是算术运算。在所有其他维度上，它显示两段引文后就停止。“这些协议不同”读起来像一个发现，但这是一个判断，而一个做出这种判断的工具最终可能会在您签署姓名的文档中做出错误判断。

这自动化了 reviewing-paper-sources/reference/claim-audit.md 中所称的 “基线训练规模与其发布规模对比” 的检查，否则这意味着阅读两个附录并进行乘法运算。

运行

python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
    --against "SNIP: Bridging Mathematical Symbolic and Numeric Realms" \
    --out review-assets/

# 直接从差距扫描中获取候选列表
python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
    --from-candidates review-assets/candidates.json --grade THREAT

从论文目录通过绝对路径运行。仅使用标准库。--against 接受标题、DOI 或 arXiv ID，可以重复使用；--limit 限制获取的论文数量（默认为 5）。

写入 paper-comparison-<date>.md 和 comparison.json。退出码 2 表示某些论文仅能访问到摘要。

获取阶梯

1. arXiv 电子印本源码  LaTeX，使用 stdlib tarfile/gzip 读取
2. arXiv PDF            通过 pdftotext，仅当该二进制文件已安装时
3. 开放获取 PDF         通过 OpenAlex oa_url，同样需要安装 pdftotext
4. 摘要                 降级

优先使用 LaTeX 源码是有原因的。 训练规模、种子计数和计算预算存在于附录中，而附录正是 PDF 提取会破坏的部分。阶梯 1 完全不需要 PDF 解析，并保持章节标题精确。在 SNIP 论文上，它产生了 66 个章节，包括 “预训练数据细节”；整个对比所依赖的数字就在其中。

落入阶梯 4 的文档被标记为降级，报告会明确指出，因为“在摘要中未找到”并非不存在的证据。

数字隐藏在 LaTeX 数学公式中。 SNIP 将其规模写成 $60$ million，草稿写成 $10^5$ updates，而 1{,}000 是一个千位分隔符。在进行任何提取之前，分隔符会被剥离——没有这一步，每个数字模式都会静默地匹配不到任何内容。

对比维度

维度	评审者为何关注
`problem`	论文声称要解决的问题
`data`	数据集和语料库
`training_scale`	以远低于其发布规模重新训练基线，可以制造出头条结果
`checkpoint`	如果存在官方检查点但未被评估，这将是第一个问题
`seeds`	一个种子意味着置信区间描述的是评估噪声，而非训练方差
`metrics`	比较是否同类比较
`results`	头条数字
`compute`	该方法实际获得其质量所需的计算成本

training_scale 优先使用声明的总数（“预训练了大约 6000 万个示例”），否则将更新次数乘以批次大小，并显示算术过程以便您检查。

实测结果

针对同一草稿的先前人工评审进行基准测试，人工评审手动发现了规模差距并评为严重。该工具从源文本中复现了该结果：

维度	草稿	SNIP
`training_scale`	640 万示例（10 万次更新 × 64 批次），优化	6000 万示例（已声明），预训练
`seeds`	“所有变体均使用训练种子 0 从头开始训练”，超参数选择	—

并计算出注释 “640 万 vs 6000 万——约为另一篇论文规模的 11%”，与评审的 10.7% 匹配。10 个接收标准，68 个离线测试。

限制

描述性维度比数值维度弱。 problem、data 和 metrics 能找到一个相关句子，但不一定是最好的。将其视为文本中的指针；将 training_scale、seeds 和 compute 视为发现。
— 表示没有句子匹配，并不表示论文省略了它。 在报告缺失之前，请检查源文件。
发布信息通常不在手稿中。 SNIP 的 SNIP-10dmax 检查点是公开的，但该字符串从未出现在论文中——检查点维度报告了未找到，正确但无帮助。请查看仓库。
仅限论文所写的内容。 如果协议差异从未被陈述，任何提取器都无法找到它。
三个评审技能中最慢的：arXiv 被限制在 3 秒，并且电子印本压缩包很大。

参见

reference/axes.md — 每个维度揭示的内容以及如何处理
reviewing-paper-sources — 阶段 4（声明审计）和阶段 0 提供此技能
surveying-literature — 生成此技能消耗的 candidates.json 候选列表

论文对比技能