chgagne/claude-skills-research

論文比較

概要

ドラフトとその最も近い先行研究を、査読者が攻撃する軸に沿って並べ、各セルを引用文とそのセクションにまで遡れるようにします。

ツールは証拠を集めます。結論はあなたが導きます。 学習規模比率とシード数の2軸のみを自動計算します（これらは算術だからです）。他の軸では2つの節を表示して停止します。「これらのプロトコルは異なる」という記述は発見のように見えますが、それは判断であり、そのような判断を下すツールは、あなたが署名する文書でいつか誤った判断を下すでしょう。

これは reviewing-paper-sources/reference/claim-audit.md が「ベースラインの学習規模とその公表規模」と呼ぶチェックを自動化するもので、それ以外では2つの付録を読んで掛け算を行う必要があります。

実行方法

python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
    --against "SNIP: Bridging Mathematical Symbolic and Numeric Realms" \
    --out review-assets/

# ギャップスイープから直接ショートリストを取得
python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
    --from-candidates review-assets/candidates.json --grade THREAT

論文ディレクトリから絶対パスで実行します。標準ライブラリのみが必要です。--against はタイトル、DOI、arXiv IDを受け付け、繰り返し指定可能です。--limit は取得する論文数を制限します（デフォルト5）。

paper-comparison-<date>.md と comparison.json を出力します。終了コード 2 は、一部の論文がアブストラクトのみでしか取得できなかったことを意味します。

取得階層

1. arXiv e-print ソース  LaTeX、stdlib tarfile/gzip で読み込み
2. arXiv PDF             pdftotext、ただしそのバイナリがインストールされている場合のみ
3. オープンアクセスPDF   OpenAlex oa_url 経由、同上
4. アブストラクト        degraded（低品質）

LaTeXソースが優先される理由があります。 学習規模、シード数、計算予算は付録にあり、付録はPDF抽出が破壊する部分です。ラング1ではPDF解析が不要で、セクション見出しが正確に保持されます。SNIP論文では、*「Pre-training Data Details」*を含む66のセクションが得られます。比較の鍵となる数値はその中にあります。

ラング4まで落ちた文書は degraded とマークされ、レポートもそれを明記します。「アブストラクトに見つからなかった」というのは不在の証拠ではないからです。

数値はLaTeX数式の中に隠れています。 SNIPは規模を $60$ million と書き、ドラフトは $10^5$ updates と書き、1{,}000 は桁区切りです。抽出前にデリミタが取り除かれなければ、数値パターンはすべて無音でマッチしません。

軸

軸	査読者が気にする理由
problem	論文が解決しようとしている問題
data	データセットとコーパス
training_scale	ベースラインを公表規模の一部で再学習すると、見出しとなる結果が水増しされる可能性がある
checkpoint	公式チェックポイントが存在し、評価されていない場合、それが最初の質問となる
seeds	1つのシードでは、信頼区間は訓練のばらつきではなく評価ノイズを記述している
metrics	比較が同じ条件で行われているか
results	見出しとなる数値
compute	手法がその品質を得るために実際に支払うコスト

training_scale は明示された総数（「約60 millionのサンプルで事前学習」）を優先し、そうでない場合は更新数にバッチサイズを掛け、計算過程を示して確認できるようにします。

測定結果

事前の人間による同一ドラフトのレビュー（手動で規模の差を見つけ、critical と評価）とベンチマーク比較した結果、ツールはソーステキストから以下を再現しました:

軸	ドラフト	SNIP
training_scale	6.4M サンプル (100K 更新 × 64 バッチ)、最適化	60M サンプル (明示)、事前学習
seeds	「すべてのバリアントは training seed 0 でスクラッチから訓練」、ハイパーパラメータ選択	—

計算メモ: 「6.4M vs 60M — 相手の論文の規模の約11%」 これはレビューの10.7%と一致。10の受入基準、68のオフラインテスト。

制限

• 記述的な軸は数値軸よりも弱い。 problem、data、metrics は関連する文を見つけますが、必ずしも最良の文ではありません。これらはテキストへのポインタとして扱い、training_scale、seeds、compute は発見として扱ってください。
• — は文が一致しなかったことを意味し、論文がそれを省略したことを意味するわけではありません。 欠落を報告する前にソースを確認してください。
• リリース情報はしばしば原稿に含まれていません。 SNIPの SNIP-10dmax チェックポイントは公開されていますが、その文字列は論文に一切出現しません。チェックポイント軸はそれに対して not found と報告します。正しく、しかし役に立ちません。リポジトリを確認してください。
• 論文に書かれたことのみ。 プロトコルの違いが明示されていなければ、抽出器は何も見つけません。
• 3つのレビュースキルの中で最も遅い。arXivは3秒でレート制限され、e-print tarballは大きい。

関連項目

• reference/axes.md — 各軸が何を公開し、それに対して何をするか
• reviewing-paper-sources — フェーズ4（主張監査）とフェーズ0がこのスキルを提供
• surveying-literature — これが消費する candidates.json ショートリストを生成