Lord1Egypt/awesome-skill-forge

arXiv 연구

arXiv의 무료 REST API를 통해 학술 논문을 검색하고 가져옵니다. API 키도, 의존성도 필요 없습니다 — curl만 있으면 됩니다.

빠른 참조

작업	명령어
논문 검색	curl "https://export.arxiv.org/api/query?search_query=all:QUERY&max_results=5"
특정 논문 가져오기	curl "https://export.arxiv.org/api/query?id_list=2402.03300"
초록 읽기 (웹)	web_extract(urls=["https://arxiv.org/abs/2402.03300"])
전체 논문 읽기 (PDF)	web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

논문 검색

API는 Atom XML 형식을 반환합니다. grep/sed로 파싱하거나 python3로 파이프하여 깔끔한 출력을 얻으세요.

기본 검색

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5"

깔끔한 출력 (XML을 읽기 쉬운 형식으로 파싱)

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5&sortBy=submittedDate&sortOrder=descending" | python3 -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom'}
root = ET.parse(sys.stdin).getroot()
for i, entry in enumerate(root.findall('a:entry', ns)):
    title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
    arxiv_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
    published = entry.find('a:published', ns).text[:10]
    authors = ', '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
    summary = entry.find('a:summary', ns).text.strip()[:200]
    cats = ', '.join(c.get('term') for c in entry.findall('a:category', ns))
    print(f'{i+1}. [{arxiv_id}] {title}')
    print(f'   저자: {authors}')
    print(f'   게시일: {published} | 카테고리: {cats}')
    print(f'   초록: {summary}...')
    print(f'   PDF: https://arxiv.org/pdf/{arxiv_id}')
    print()
"

검색 쿼리 구문

접두사	검색 대상	예시
all:	모든 필드	all:transformer+attention
ti:	제목	ti:large+language+models
au:	저자	au:vaswani
abs:	초록	abs:reinforcement+learning
cat:	카테고리	cat:cs.AI
co:	코멘트	co:accepted+NeurIPS

부울 연산자

# AND (기본값, + 사용 시)
search_query=all:transformer+attention

# OR
search_query=all:GPT+OR+all:BERT

# AND NOT
search_query=all:language+model+ANDNOT+all:vision

# 정확한 구문
search_query=ti:"chain+of+thought"

# 조합
search_query=au:hinton+AND+cat:cs.LG

정렬 및 페이지네이션

매개변수	옵션
sortBy	relevance, lastUpdatedDate, submittedDate
sortOrder	ascending, descending
start	결과 오프셋 (0부터 시작)
max_results	결과 개수 (기본값 10, 최대 30000)

# cs.AI의 최신 10개 논문
curl -s "https://export.arxiv.org/api/query?search_query=cat:cs.AI&sortBy=submittedDate&sortOrder=descending&max_results=10"

특정 논문 가져오기

# arXiv ID로 검색
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300"

# 여러 논문 검색
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300,2401.12345,2403.00001"

BibTeX 생성

논문 메타데이터를 가져온 후 BibTeX 항목을 생성합니다:

{% raw %}

curl -s "https://export.arxiv.org/api/query?id_list=1706.03762" | python3 -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom', 'arxiv': 'http://arxiv.org/schemas/atom'}
root = ET.parse(sys.stdin).getroot()
entry = root.find('a:entry', ns)
if entry is None: sys.exit('논문을 찾을 수 없습니다')
title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
authors = ' and '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
year = entry.find('a:published', ns).text[:4]
raw_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
cat = entry.find('arxiv:primary_category', ns)
primary = cat.get('term') if cat is not None else 'cs.LG'
last_name = entry.find('a:author', ns).find('a:name', ns).text.split()[-1]
print(f'@article{{{last_name}{year}_{raw_id.replace(\".\", \"\")},')
print(f'  title     = {{{title}}},')
print(f'  author    = {{{authors}}},')
print(f'  year      = {{{year}}},')
print(f'  eprint    = {{{raw_id}}},')
print(f'  archivePrefix = {{arXiv}},')
print(f'  primaryClass  = {{{primary}}},')
print(f'  url       = {{https://arxiv.org/abs/{raw_id}}}')
print('}')
"

{% endraw %}

논문 내용 읽기

논문을 찾은 후 읽기:

# 초록 페이지 (빠름, 메타데이터 + 초록)
web_extract(urls=["https://arxiv.org/abs/2402.03300"])

# 전체 논문 (PDF → Firecrawl로 마크다운)
web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

로컬 PDF 처리는 ocr-and-documents 스킬을 참조하세요.

공통 카테고리

카테고리	분야
cs.AI	인공지능
cs.CL	계산 및 언어 (NLP)
cs.CV	컴퓨터 비전
cs.LG	머신러닝
cs.CR	암호학 및 보안
stat.ML	머신러닝 (통계)
math.OC	최적화 및 제어
physics.comp-ph	계산 물리학

전체 목록: https://arxiv.org/category_taxonomy

도우미 스크립트

scripts/search_arxiv.py 스크립트는 XML 파싱을 처리하고 깔끔한 출력을 제공합니다:

python scripts/search_arxiv.py "GRPO reinforcement learning"
python scripts/search_arxiv.py "transformer attention" --max 10 --sort date
python scripts/search_arxiv.py --author "Yann LeCun" --max 5
python scripts/search_arxiv.py --category cs.AI --sort date
python scripts/search_arxiv.py --id 2402.03300
python scripts/search_arxiv.py --id 2402.03300,2401.12345

의존성 없음 — Python 표준 라이브러리만 사용합니다.

---

Semantic Scholar (인용, 관련 논문, 저자 프로필)

arXiv는 인용 데이터나 추천을 제공하지 않습니다. 이를 위해 Semantic Scholar API를 사용하세요 — 무료이며, 기본 사용에 키가 필요 없고(1 req/초), JSON을 반환합니다.

논문 세부 정보 + 인용 가져오기

# arXiv ID로 검색
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300?fields=title,authors,citationCount,referenceCount,influentialCitationCount,year,abstract" | python3 -m json.tool

# Semantic Scholar 논문 ID 또는 DOI로 검색
curl -s "https://api.semanticscholar.org/graph/v1/paper/DOI:10.1234/example?fields=title,citationCount"

특정 논문의 인용 가져오기 (누가 인용했는지)

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/citations?fields=title,authors,year,citationCount&limit=10" | python3 -m json.tool

논문의 참고문헌 가져오기 (무엇을 인용했는지)

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/references?fields=title,authors,year,citationCount&limit=10" | python3 -m json.tool

논문 검색 (arXiv 검색 대안, JSON 반환)

curl -s "https://api.semanticscholar.org/graph/v1/paper/search?query=GRPO+reinforcement+learning&limit=5&fields=title,authors,year,citationCount,externalIds" | python3 -m json.tool

논문 추천 받기

curl -s -X POST "https://api.semanticscholar.org/recommendations/v1/papers/" \
  -H "Content-Type: application/json" \
  -d '{"positivePaperIds": ["arXiv:2402.03300"], "negativePaperIds": []}' | python3 -m json.tool

저자 프로필

curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=Yann+LeCun&fields=name,hIndex,citationCount,paperCount" | python3 -m json.tool

유용한 Semantic Scholar 필드

title, authors, year, abstract, citationCount, referenceCount, influentialCitationCount, isOpenAccess, openAccessPdf, fieldsOfStudy, publicationVenue, externalIds (arXiv ID, DOI 등 포함)

---

완전한 연구 워크플로우

1. 발견: python scripts/search_arxiv.py "your topic" --sort date --max 10
2. 영향 평가: curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID?fields=citationCount,influentialCitationCount"
3. 초록 읽기: web_extract(urls=["https://arxiv.org/abs/ID"])
4. 전체 논문 읽기: web_extract(urls=["https://arxiv.org/pdf/ID"])
5. 관련 연구 찾기: curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID/references?fields=title,citationCount&limit=20"
6. 추천 받기: Semantic Scholar 추천 엔드포인트로 POST 요청
7. 저자 추적: curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=NAME"

속도 제한

API	제한	인증
arXiv	~1 req / 3초	없음
Semantic Scholar	1 req / 초	없음 (API 키로 100/초)

참고 사항

• arXiv는 Atom XML을 반환합니다 — 깔끔한 출력을 위해 도우미 스크립트나 파싱 코드 조각을 사용하세요.
• Semantic Scholar는 JSON을 반환합니다 — 가독성을 위해 python3 -m json.tool로 파이프하세요.
• arXiv ID: 구 형식(hep-th/0601001) vs 신 형식(2402.03300)
• PDF: https://arxiv.org/pdf/{id} — 초록: https://arxiv.org/abs/{id}
• HTML (가능한 경우): https://arxiv.org/html/{id}
• 로컬 PDF 처리는 ocr-and-documents 스킬을 참조하세요.

ID 버전 관리

• arxiv.org/abs/1706.03762는 항상 최신 버전으로 연결됩니다.
• arxiv.org/abs/1706.03762v1은 특정 불변 버전을 가리킵니다.
• 인용을 생성할 때는 실제로 읽은 버전 접미사를 보존하여 인용 표류를 방지하세요 (이후 버전이 내용을 크게 변경할 수 있습니다).
• API <id> 필드는 버전이 있는 URL을 반환합니다 (예: http://arxiv.org/abs/1706.03762v7).

철회된 논문

논문은 제출 후 철회될 수 있습니다. 이 경우:

• <summary> 필드에 철회 통지가 포함됩니다 ("withdrawn" 또는 "retracted" 확인).
• 메타데이터 필드가 불완전할 수 있습니다.
• 결과를 유효한 논문으로 처리하기 전에 항상 요약을 확인하세요.