arXiv 연구은(는) 무엇을 하나요?

arXiv의 무료 REST API를 통해 학술 논문을 검색하고 가져옵니다. API 키나 추가 종속성 없이 curl만으로 사용 가능합니다.

빠른 참조

작업	명령어
논문 검색	`curl "https://export.arxiv.org/api/query?search_query=all:QUERY&max_results=5"`
특정 논문 가져오기	`curl "https://export.arxiv.org/api/query?id_list=2402.03300"`
초록 읽기 (웹)	`web_extract(urls=["https://arxiv.org/abs/2402.03300"])`
전체 논문 읽기 (PDF)	`web_extract(urls=["https://arxiv.org/pdf/2402.03300"])`

논문 검색

API는 Atom XML 형식을 반환합니다. grep/sed로 파싱하거나 python으로 파이프하여 깔끔한 출력을 얻을 수 있습니다.

기본 검색

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5"

깔끔한 출력 (XML을 읽기 쉬운 형식으로 파싱)

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5&sortBy=submittedDate&sortOrder=descending" | python -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom'}
root = ET.parse(sys.stdin).getroot()
for i, entry in enumerate(root.findall('a:entry', ns)):
    title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
    arxiv_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
    published = entry.find('a:published', ns).text[:10]
    authors = ', '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
    summary = entry.find('a:summary', ns).text.strip()[:200]
    cats = ', '.join(c.get('term') for c in entry.findall('a:category', ns))
    print(f'{i+1}. [{arxiv_id}] {title}')
    print(f'   저자: {authors}')
    print(f'   발행일: {published} | 분류: {cats}')
    print(f'   초록: {summary}...')
    print(f'   PDF: https://arxiv.org/pdf/{arxiv_id}')
    print()
"

검색 쿼리 구문

접두사	검색 대상	예시
`all:`	모든 필드	`all:transformer+attention`
`ti:`	제목	`ti:large+language+models`
`au:`	저자	`au:vaswani`
`abs:`	초록	`abs:reinforcement+learning`
`cat:`	분류	`cat:cs.AI`
`co:`	주석	`co:accepted+NeurIPS`

부울 연산자

# AND (기본값, + 사용 시)
search_query=all:transformer+attention

# OR
search_query=all:GPT+OR+all:BERT

# AND NOT
search_query=all:language+model+ANDNOT+all:vision

# 정확한 구문
search_query=ti:"chain+of+thought"

# 결합
search_query=au:hinton+AND+cat:cs.LG

정렬 및 페이지 매김

매개변수	옵션
`sortBy`	`relevance`, `lastUpdatedDate`, `submittedDate`
`sortOrder`	`ascending`, `descending`
`start`	결과 오프셋 (0부터 시작)
`max_results`	결과 수 (기본값 10, 최대 30000)

# cs.AI 분야의 최신 논문 10개
curl -s "https://export.arxiv.org/api/query?search_query=cat:cs.AI&sortBy=submittedDate&sortOrder=descending&max_results=10"

특정 논문 가져오기

# arXiv ID로 가져오기
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300"

# 여러 논문 가져오기
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300,2401.12345,2403.00001"

BibTeX 생성

논문 메타데이터를 가져온 후 BibTeX 항목을 생성합니다:

{% raw %}

curl -s "https://export.arxiv.org/api/query?id_list=1706.03762" | python -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom', 'arxiv': 'http://arxiv.org/schemas/atom'}
root = ET.parse(sys.stdin).getroot()
entry = root.find('a:entry', ns)
if entry is None: sys.exit('논문을 찾을 수 없습니다')
title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
authors = ' and '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
year = entry.find('a:published', ns).text[:4]
raw_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
cat = entry.find('arxiv:primary_category', ns)
primary = cat.get('term') if cat is not None else 'cs.LG'
last_name = entry.find('a:author', ns).find('a:name', ns).text.split()[-1]
print(f'@article{{{last_name}{year}_{raw_id.replace(\".\", \"\")},')
print(f'  title     = {{{title}}},')
print(f'  author    = {{{authors}}},')
print(f'  year      = {{{year}}},')
print(f'  eprint    = {{{raw_id}}},')
print(f'  archivePrefix = {{arXiv}},')
print(f'  primaryClass  = {{{primary}}},')
print(f'  url       = {{https://arxiv.org/abs/{raw_id}}}')
print('}')
"

{% endraw %}

논문 내용 읽기

논문을 찾은 후 읽습니다:

# 초록 페이지 (빠름, 메타데이터 + 초록)
web_extract(urls=["https://arxiv.org/abs/2402.03300"])

# 전체 논문 (PDF → Firecrawl을 통해 마크다운 변환)
web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

로컬 PDF 처리는 ocr-and-documents 스킬을 참조하세요.

일반적인 분류

분류	분야
`cs.AI`	인공지능
`cs.CL`	계산 언어학 (NLP)
`cs.CV`	컴퓨터 비전
`cs.LG`	머신러닝
`cs.CR`	암호화 및 보안
`stat.ML`	머신러닝 (통계)
`math.OC`	최적화 및 제어
`physics.comp-ph`	계산 물리학

전체 목록: https://arxiv.org/category_taxonomy

도우미 스크립트

scripts/search_arxiv.py 스크립트는 XML 파싱을 처리하고 깔끔한 출력을 제공합니다:

python scripts/search_arxiv.py "GRPO reinforcement learning"
python scripts/search_arxiv.py "transformer attention" --max 10 --sort date
python scripts/search_arxiv.py --author "Yann LeCun" --max 5
python scripts/search_arxiv.py --category cs.AI --sort date
python scripts/search_arxiv.py --id 2402.03300
python scripts/search_arxiv.py --id 2402.03300,2401.12345

종속성 없음 — Python 표준 라이브러리만 사용합니다.

Semantic Scholar (인용, 관련 논문, 저자 프로필)

arXiv는 인용 데이터나 추천을 제공하지 않습니다. 이를 위해 Semantic Scholar API를 사용하세요 — 무료이며, 기본 사용에는 키가 필요 없고(1 req/sec), JSON을 반환합니다.

논문 상세 정보 + 인용 횟수 가져오기

# arXiv ID로
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300?fields=title,authors,citationCount,referenceCount,influentialCitationCount,year,abstract" | python -m json.tool

# Semantic Scholar 논문 ID 또는 DOI로
curl -s "https://api.semanticscholar.org/graph/v1/paper/DOI:10.1234/example?fields=title,citationCount"

특정 논문의 인용 정보 가져오기 (누가 인용했는지)

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/citations?fields=title,authors,year,citationCount&limit=10" | python -m json.tool

특정 논문의 참고 문헌 가져오기 (무엇을 인용했는지)

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/references?fields=title,authors,year,citationCount&limit=10" | python -m json.tool

논문 검색 (arXiv 검색의 대안, JSON 반환)

curl -s "https://api.semanticscholar.org/graph/v1/paper/search?query=GRPO+reinforcement+learning&limit=5&fields=title,authors,year,citationCount,externalIds" | python -m json.tool

논문 추천 받기

curl -s -X POST "https://api.semanticscholar.org/recommendations/v1/papers/" \
  -H "Content-Type: application/json" \
  -d '{"positivePaperIds": ["arXiv:2402.03300"], "negativePaperIds": []}' | python -m json.tool

저자 프로필

curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=Yann+LeCun&fields=name,hIndex,citationCount,paperCount" | python -m json.tool

유용한 Semantic Scholar 필드

title, authors, year, abstract, citationCount, referenceCount, influentialCitationCount, isOpenAccess, openAccessPdf, fieldsOfStudy, publicationVenue, externalIds (arXiv ID, DOI 등 포함)

완전한 연구 워크플로우

발견: python scripts/search_arxiv.py "연구 주제" --sort date --max 10
영향 평가: curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID?fields=citationCount,influentialCitationCount"
초록 읽기: web_extract(urls=["https://arxiv.org/abs/ID"])
전체 논문 읽기: web_extract(urls=["https://arxiv.org/pdf/ID"])
관련 연구 찾기: curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID/references?fields=title,citationCount&limit=20"
추천 받기: Semantic Scholar 추천 엔드포인트에 POST 요청
저자 추적: curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=NAME"

속도 제한

API	속도	인증
arXiv	약 1 req / 3초	필요 없음
Semantic Scholar	1 req / 초	필요 없음 (API 키 사용 시 100 req/초)

참고 사항

arXiv는 Atom XML을 반환합니다. 깔끔한 출력을 위해 도우미 스크립트 또는 파싱 코드 조각을 사용하세요.
Semantic Scholar는 JSON을 반환합니다. 가독성을 위해 python -m json.tool로 파이프하세요.
arXiv ID: 이전 형식(hep-th/0601001)과 새 형식(2402.03300)이 있습니다.
PDF: https://arxiv.org/pdf/{id} — 초록: https://arxiv.org/abs/{id}
HTML (가능한 경우): https://arxiv.org/html/{id}
로컬 PDF 처리는 ocr-and-documents 스킬을 참조하세요.

ID 버전 관리

arxiv.org/abs/1706.03762는 항상 최신 버전으로 연결됩니다.
arxiv.org/abs/1706.03762v1은 특정 불변 버전을 가리킵니다.
인용을 생성할 때는 실제로 읽은 버전 접미사를 보존하여 인용 표류를 방지하세요 (이후 버전에서 내용이 크게 변경될 수 있음).
API <id> 필드는 버전이 포함된 URL을 반환합니다 (예: http://arxiv.org/abs/1706.03762v7).

철회된 논문

논문은 제출 후 철회될 수 있습니다. 이 경우:

<summary> 필드에 철회 통지가 포함됩니다 ("철회됨" 또는 "회수됨" 키워드 확인).
메타데이터 필드가 불완전할 수 있습니다.
결과를 유효한 논문으로 처리하기 전에 항상 요약을 확인하세요.

arXiv 연구

arXiv 연구란 무엇인가요?

즐겨 사용하는 AI에게 물어보기

문서