논문 비교하기
개요
초고와 가장 유사한 기존 연구를 리뷰어가 공격하는 축을 기준으로 나란히 배치하며, 각 셀은 인용된 문장과 출처 섹션으로 추적 가능합니다.
도구는 증거를 수집하고, 결론은 사용자가 내립니다. 두 개의 축(학습 규모 비율과 시드 수)에 대해서만 수치를 계산합니다. 이는 산술 연산이 가능하기 때문입니다. 다른 모든 축에서는 두 구절을 보여주고 멈춥니다. "이 프로토콜은 다르다"는 발견처럼 읽히지만 판단이며, 이를 자동화하는 도구는 결국 사용자가 서명할 문서에서 잘못된 판단을 내리게 됩니다.
이 스킬은 reviewing-paper-sources/reference/claim-audit.md에서 *"기준 학습 규모와 발표된 규모 비교"*라고 부르는 확인 작업을 자동화합니다. 이는 원래 두 개의 부록을 읽고 곱셈을 수행하는 작업입니다.
실행하기
python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
--against "SNIP: Bridging Mathematical Symbolic and Numeric Realms" \
--out review-assets/
# 갭 스윕에서 바로 후보 목록을 가져오기
python3 ~/.claude/skills/comparing-papers/assets/run-compare.py . \
--from-candidates review-assets/candidates.json --grade THREAT
논문 디렉토리에서 절대 경로로 실행합니다. 표준 라이브러리만 사용합니다. --against는 제목, DOI 또는 arXiv ID를 받으며 반복 가능하고, --limit는 가져올 논문 수를 제한합니다(기본값 5).
paper-comparison-<date>.md와 comparison.json을 작성합니다. 종료 코드 2는 일부 논문이 초록으로만 접근 가능함을 의미합니다.
획득 사다리
1. arXiv e-print 소스 LaTeX, stdlib tarfile/gzip으로 읽기
2. arXiv PDF pdftotext 사용, 해당 바이너리가 설치된 경우에만
3. 오픈 액세스 PDF OpenAlex oa_url 사용, 동일 조건
4. 초록 저하됨
LaTeX 소스가 우선인 이유가 있습니다. 학습 규모, 시드 수, 컴퓨트 예산은 부록에 있으며, 부록은 PDF 추출이 망가뜨리는 부분입니다. 1단계는 PDF 파싱이 전혀 필요 없으며 섹션 제목을 정확하게 유지합니다. SNIP 논문에서는 *"Pre-training Data Details"*를 포함한 66개의 섹션을 산출하며, 전체 비교의 핵심 숫자가 그 안에 있습니다.
4단계로 떨어진 문서는 저하됨으로 표시되며 보고서에 명시됩니다. "초록에서 찾을 수 없음"이 부재의 증거는 아니기 때문입니다.
숫자는 LaTeX 수학 안에 숨어 있습니다. SNIP은 규모를 $60$ million으로, 초고는 $10^5$ updates로 쓰며, 1{,}000은 천 단위 구분자입니다. 추출 전에 구분 기호를 제거하지 않으면 모든 숫자 패턴이 자동으로 일치하지 않습니다.
축
| 축 | 리뷰어가 신경 쓰는 이유 |
|---|---|
problem | 논문이 해결하려는 문제 |
data | 데이터셋 및 코퍼스 |
training_scale | 기준 모델을 발표된 규모의 일부만으로 재학습하면 최상위 결과를 조작할 수 있음 |
checkpoint | 공식 체크포인트가 존재하는데 평가되지 않았다면, 그것이 첫 번째 질문임 |
seeds | 하나의 시드만 있으면 신뢰 구간이 평가 노이즈를 설명할 뿐 훈련 분산을 설명하지 않음 |
metrics | 비교가 동등한 조건에서 이루어졌는지 여부 |
results | 최상위 숫자 |
compute | 방법이 실제로 품질을 얻기 위해 지불하는 비용 |
training_scale은 명시된 총량(예: "약 6천만 개 예제로 사전 학습")을 선호하며, 그렇지 않은 경우 업데이트 수에 배치 크기를 곱하여 산술 과정을 보여줍니다.
측정 결과
동일한 초고에 대한 기존 인간 리뷰(규모 차이를 수동으로 발견하고 치명적으로 평가함)와 비교하여 벤치마킹했습니다. 도구는 소스 텍스트에서 이를 재현합니다:
| 축 | 초고 | SNIP |
|---|---|---|
training_scale | 6.4M 예제 (100K 업데이트 × 64 배치), 최적화 | 60M 예제 (명시됨), 사전 학습 |
seeds | "모든 변형은 훈련 시드 0으로 처음부터 훈련됨", 하이퍼파라미터 선택 | — |
계산된 메모 **"6.4M 대 60M — 다른 논문 규모의 약 11%"**로 리뷰의 10.7%와 일치합니다. 10개의 수용 기준, 68개의 오프라인 테스트.
한계
- 서술적 축은 수치 축보다 약합니다.
problem,data,metrics는 관련된 문장을 찾지만 반드시 최선의 문장은 아닙니다. 이를 텍스트의 포인터로 취급하고,training_scale,seeds,compute는 발견 결과로 취급하십시오. —는 일치하는 문장이 없음을 의미하며, 논문이 생략했음을 의미하지 않습니다. 부재를 보고하기 전에 출처를 확인하십시오.- 릴리스 정보는 종종 원고에 포함되지 않습니다. SNIP의
SNIP-10dmax체크포인트는 공개되어 있지만, 문자열이 논문에 나타나지 않습니다. 체크포인트 축은 이에 대해 찾을 수 없음을 올바르고 도움이 되지 않게 보고합니다. 저장소를 확인하십시오. - 오직 논문이 쓴 내용만. 프로토콜 차이가 명시되지 않으면 추출기가 찾을 수 없습니다.
- 세 가지 리뷰 스킬 중 가장 느림: arXiv는 3초로 제한되며 e-print tarball은 큽니다.
참고
reference/axes.md— 각 축이 노출하는 내용과 처리 방법reviewing-paper-sources— 4단계(주장 감사)와 0단계가 이 스킬을 제공함surveying-literature— 이 스킬이 소비하는candidates.json후보 목록을 생성함