arXiv Research
arXivの無料REST APIを介して学術論文を検索・取得します。APIキー不要、依存関係も不要 — curlだけあれば使えます。
クイックリファレンス
| アクション | コマンド |
|---|---|
| 論文検索 | curl "https://export.arxiv.org/api/query?search_query=all:QUERY&max_results=5" |
| 特定の論文を取得 | curl "https://export.arxiv.org/api/query?id_list=2402.03300" |
| アブストラクトを読む（Web） | web_extract(urls=["https://arxiv.org/abs/2402.03300"]) |
| 全文を読む（PDF） | web_extract(urls=["https://arxiv.org/pdf/2402.03300"]) |
論文検索
APIはAtom XMLを返します。grep/sedでパースするか、pythonにパイプして整形出力を得てください。
基本検索
curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5"
整形出力（XMLを読みやすい形式にパース）
curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5&sortBy=submittedDate&sortOrder=descending" | python -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom'}
root = ET.parse(sys.stdin).getroot()
for i, entry in enumerate(root.findall('a:entry', ns)):
title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
arxiv_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
published = entry.find('a:published', ns).text[:10]
authors = ', '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
summary = entry.find('a:summary', ns).text.strip()[:200]
cats = ', '.join(c.get('term') for c in entry.findall('a:category', ns))
print(f'{i+1}. [{arxiv_id}] {title}')
print(f' Authors: {authors}')
print(f' Published: {published} | Categories: {cats}')
print(f' Abstract: {summary}...')
print(f' PDF: https://arxiv.org/pdf/{arxiv_id}')
print()
"
検索クエリ構文
| 接頭辞 | 検索対象 | 例 |
|---|---|---|
all: | 全フィールド | all:transformer+attention |
ti: | タイトル | ti:large+language+models |
au: | 著者 | au:vaswani |
abs: | アブストラクト | abs:reinforcement+learning |
cat: | カテゴリ | cat:cs.AI |
co: | コメント | co:accepted+NeurIPS |
ブール演算子
# AND（+ を使用した場合のデフォルト）
search_query=all:transformer+attention
# OR
search_query=all:GPT+OR+all:BERT
# AND NOT
search_query=all:language+model+ANDNOT+all:vision
# 正確なフレーズ
search_query=ti:"chain+of+thought"
# 組み合わせ
search_query=au:hinton+AND+cat:cs.LG
ソートとページネーション
| パラメータ | オプション |
|---|---|
sortBy | relevance, lastUpdatedDate, submittedDate |
sortOrder | ascending, descending |
start | 結果のオフセット（0ベース） |
max_results | 結果の最大数（デフォルト10、最大30000） |
# cs.AIカテゴリの最新10件
curl -s "https://export.arxiv.org/api/query?search_query=cat:cs.AI&sortBy=submittedDate&sortOrder=descending&max_results=10"
特定の論文の取得
# arXiv IDで指定
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300"
# 複数の論文
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300,2401.12345,2403.00001"
BibTeXの生成
論文のメタデータ取得後、BibTeXエントリを生成します：
{% raw %}
curl -s "https://export.arxiv.org/api/query?id_list=1706.03762" | python -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom', 'arxiv': 'http://arxiv.org/schemas/atom'}
root = ET.parse(sys.stdin).getroot()
entry = root.find('a:entry', ns)
if entry is None: sys.exit('Paper not found')
title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
authors = ' and '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
year = entry.find('a:published', ns).text[:4]
raw_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
cat = entry.find('arxiv:primary_category', ns)
primary = cat.get('term') if cat is not None else 'cs.LG'
last_name = entry.find('a:author', ns).find('a:name', ns).text.split()[-1]
print(f'@article{{{last_name}{year}_{raw_id.replace(\".\", \"\")},')
print(f' title = {{{title}}},')
print(f' author = {{{authors}}},')
print(f' year = {{{year}}},')
print(f' eprint = {{{raw_id}}},')
print(f' archivePrefix = {{arXiv}},')
print(f' primaryClass = {{{primary}}},')
print(f' url = {{https://arxiv.org/abs/{raw_id}}}')
print('}')
"
{% endraw %}
論文内容の読み取り
論文を見つけたら、読みます：
# アブストラクトページ（高速、メタデータ＋アブストラクト）
web_extract(urls=["https://arxiv.org/abs/2402.03300"])
# 全文（PDF → Firecrawlでマークダウンに変換）
web_extract(urls=["https://arxiv.org/pdf/2402.03300"])
ローカルPDF処理については、ocr-and-documentsスキルを参照してください。
よく使われるカテゴリ
| カテゴリ | 分野 |
|---|---|
cs.AI | 人工知能 |
cs.CL | 計算言語学と自然言語処理 |
cs.CV | コンピュータビジョン |
cs.LG | 機械学習 |
cs.CR | 暗号とセキュリティ |
stat.ML | 機械学習（統計） |
math.OC | 最適化と制御 |
physics.comp-ph | 計算物理学 |
全リスト：https://arxiv.org/category_taxonomy
ヘルパースクリプト
scripts/search_arxiv.py スクリプトがXMLパースを処理し、整形された出力を提供します：
python scripts/search_arxiv.py "GRPO reinforcement learning"
python scripts/search_arxiv.py "transformer attention" --max 10 --sort date
python scripts/search_arxiv.py --author "Yann LeCun" --max 5
python scripts/search_arxiv.py --category cs.AI --sort date
python scripts/search_arxiv.py --id 2402.03300
python scripts/search_arxiv.py --id 2402.03300,2401.12345
依存関係なし — Python標準ライブラリのみ使用。
Semantic Scholar（被引用、関連論文、著者プロファイル）
arXivは被引用データやレコメンデーションを提供しません。その場合は Semantic Scholar API を使用してください — 無料、基本使用にはキー不要（1 req/sec）、JSONを返します。
論文の詳細＋被引用数を取得
# arXiv IDで指定
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300?fields=title,authors,citationCount,referenceCount,influentialCitationCount,year,abstract" | python -m json.tool
# Semantic Scholar論文IDまたはDOIで指定
curl -s "https://api.semanticscholar.org/graph/v1/paper/DOI:10.1234/example?fields=title,citationCount"
ある論文の被引用（引用元）を取得
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/citations?fields=title,authors,year,citationCount&limit=10" | python -m json.tool
ある論文の参考文献（引用先）を取得
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/references?fields=title,authors,year,citationCount&limit=10" | python -m json.tool
論文検索（arXiv検索の代替、JSONを返す）
curl -s "https://api.semanticscholar.org/graph/v1/paper/search?query=GRPO+reinforcement+learning&limit=5&fields=title,authors,year,citationCount,externalIds" | python -m json.tool
論文レコメンデーションを取得
curl -s -X POST "https://api.semanticscholar.org/recommendations/v1/papers/" \
-H "Content-Type: application/json" \
-d '{"positivePaperIds": ["arXiv:2402.03300"], "negativePaperIds": []}' | python -m json.tool
著者プロファイル
curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=Yann+LeCun&fields=name,hIndex,citationCount,paperCount" | python -m json.tool
有用なSemantic Scholarフィールド
title, authors, year, abstract, citationCount, referenceCount, influentialCitationCount, isOpenAccess, openAccessPdf, fieldsOfStudy, publicationVenue, externalIds（arXiv ID、DOIなどを含む）
完全な研究ワークフロー
- 発見:
python scripts/search_arxiv.py "your topic" --sort date --max 10 - 影響評価:
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID?fields=citationCount,influentialCitationCount" - アブストラクトを読む:
web_extract(urls=["https://arxiv.org/abs/ID"]) - 全文を読む:
web_extract(urls=["https://arxiv.org/pdf/ID"]) - 関連研究を探す:
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID/references?fields=title,citationCount&limit=20" - レコメンデーションを得る: Semantic ScholarレコメンデーションエンドポイントにPOST
- 著者を追跡:
curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=NAME"
レート制限
| API | レート | 認証 |
|---|---|---|
| arXiv | 約1 req / 3秒 | 不要 |
| Semantic Scholar | 1 req / 秒 | 不要（APIキーありで100/秒） |
注意事項
- arXivはAtom XMLを返す — 整形出力にはヘルパースクリプトまたはパース用スニペットを使用
- Semantic ScholarはJSONを返す — 可読性のために
python -m json.toolにパイプ - arXiv ID: 旧形式（
hep-th/0601001）と新形式（2402.03300）あり - PDF:
https://arxiv.org/pdf/{id}— アブストラクト:https://arxiv.org/abs/{id} - HTML（利用可能な場合）:
https://arxiv.org/html/{id} - ローカルPDF処理については、
ocr-and-documentsスキルを参照
IDバージョニング
arxiv.org/abs/1706.03762は常に最新バージョンに解決されますarxiv.org/abs/1706.03762v1は特定の不変バージョンを指します- 引用を生成するときは、実際に読んだバージョンサフィックスを保持し、引用のずれを防いでください（後のバージョンで内容が大幅に変更される可能性があります）
- APIの
<id>フィールドはバージョン付きURLを返します（例：http://arxiv.org/abs/1706.03762v7）
撤回された論文
投稿後に論文が撤回されることがあります。その場合：
<summary>フィールドに撤回通知が含まれます（"withdrawn" または "retracted" を確認）- メタデータフィールドが不完全な場合があります
- 結果を有効な論文として扱う前に、必ずサマリーを確認してください