Lord1Egypt/awesome-skill-forge

arXiv Research

arXivの無料REST APIを介して学術論文を検索・取得します。APIキーも依存関係も不要で、curlだけで動作します。

クイックリファレンス

アクション	コマンド
論文を検索	curl "https://export.arxiv.org/api/query?search_query=all:QUERY&max_results=5"
特定の論文を取得	curl "https://export.arxiv.org/api/query?id_list=2402.03300"
アブストラクトを読む（Web）	web_extract(urls=["https://arxiv.org/abs/2402.03300"])
全文を読む（PDF）	web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

論文の検索

APIはAtom XMLを返します。grep/sedでパースするか、python3にパイプして整形出力を得てください。

基本検索

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5"

整形出力（XMLを読みやすい形式にパース）

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5&sortBy=submittedDate&sortOrder=descending" | python3 -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom'}
root = ET.parse(sys.stdin).getroot()
for i, entry in enumerate(root.findall('a:entry', ns)):
    title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
    arxiv_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
    published = entry.find('a:published', ns).text[:10]
    authors = ', '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
    summary = entry.find('a:summary', ns).text.strip()[:200]
    cats = ', '.join(c.get('term') for c in entry.findall('a:category', ns))
    print(f'{i+1}. [{arxiv_id}] {title}')
    print(f'   著者: {authors}')
    print(f'   公開日: {published} | カテゴリ: {cats}')
    print(f'   アブストラクト: {summary}...')
    print(f'   PDF: https://arxiv.org/pdf/{arxiv_id}')
    print()
"

検索クエリ構文

接頭辞	検索対象	例
all:	全フィールド	all:transformer+attention
ti:	タイトル	ti:large+language+models
au:	著者	au:vaswani
abs:	アブストラクト	abs:reinforcement+learning
cat:	カテゴリ	cat:cs.AI
co:	コメント	co:accepted+NeurIPS

ブール演算子

# AND（+を使用する場合のデフォルト）
search_query=all:transformer+attention

# OR
search_query=all:GPT+OR+all:BERT

# AND NOT
search_query=all:language+model+ANDNOT+all:vision

# 完全一致フレーズ
search_query=ti:"chain+of+thought"

# 組み合わせ
search_query=au:hinton+AND+cat:cs.LG

ソートとページネーション

パラメータ	オプション
sortBy	relevance, lastUpdatedDate, submittedDate
sortOrder	ascending, descending
start	結果オフセット（0ベース）
max_results	結果の数（デフォルト10、最大30000）

# cs.AI の最新10件
curl -s "https://export.arxiv.org/api/query?search_query=cat:cs.AI&sortBy=submittedDate&sortOrder=descending&max_results=10"

特定の論文の取得

# arXiv IDで取得
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300"

# 複数論文
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300,2401.12345,2403.00001"

BibTeXの生成

論文のメタデータを取得した後、BibTeXエントリを生成します。

{% raw %}

curl -s "https://export.arxiv.org/api/query?id_list=1706.03762" | python3 -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom', 'arxiv': 'http://arxiv.org/schemas/atom'}
root = ET.parse(sys.stdin).getroot()
entry = root.find('a:entry', ns)
if entry is None: sys.exit('論文が見つかりません')
title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
authors = ' and '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
year = entry.find('a:published', ns).text[:4]
raw_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
cat = entry.find('arxiv:primary_category', ns)
primary = cat.get('term') if cat is not None else 'cs.LG'
last_name = entry.find('a:author', ns).find('a:name', ns).text.split()[-1]
print(f'@article{{{last_name}{year}_{raw_id.replace(\".\", \"\")},')
print(f'  title     = {{{title}}},')
print(f'  author    = {{{authors}}},')
print(f'  year      = {{{year}}},')
print(f'  eprint    = {{{raw_id}}},')
print(f'  archivePrefix = {{arXiv}},')
print(f'  primaryClass  = {{{primary}}},')
print(f'  url       = {{https://arxiv.org/abs/{raw_id}}}')
print('}')
"

{% endraw %}

論文内容の読み方

論文を見つけたら、次のようにして読みます。

# アブストラクトページ（高速、メタデータ＋アブストラクト）
web_extract(urls=["https://arxiv.org/abs/2402.03300"])

# 全文（PDF → FirecrawlでMarkdown化）
web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

ローカルPDFの処理については、ocr-and-documents スキルを参照してください。

よく使われるカテゴリ

カテゴリ	分野
cs.AI	人工知能
cs.CL	計算言語学と自然言語処理
cs.CV	コンピュータビジョン
cs.LG	機械学習
cs.CR	暗号とセキュリティ
stat.ML	機械学習（統計学）
math.OC	最適化と制御
physics.comp-ph	計算物理学

完全なリスト：https://arxiv.org/category_taxonomy

ヘルパースクリプト

scripts/search_arxiv.py スクリプトはXMLのパース処理を行い、整形された出力を提供します。

python scripts/search_arxiv.py "GRPO reinforcement learning"
python scripts/search_arxiv.py "transformer attention" --max 10 --sort date
python scripts/search_arxiv.py --author "Yann LeCun" --max 5
python scripts/search_arxiv.py --category cs.AI --sort date
python scripts/search_arxiv.py --id 2402.03300
python scripts/search_arxiv.py --id 2402.03300,2401.12345

依存関係は不要です。Python標準ライブラリのみを使用します。

---

Semantic Scholar（引用、関連論文、著者プロファイル）

arXivは引用データや推薦機能を提供していません。そのような場合はSemantic Scholar APIを使用してください。無料で、基本的な使用にはキーが不要（1 req/sec）で、JSONを返します。

論文の詳細と引用情報の取得

# arXiv IDで取得
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300?fields=title,authors,citationCount,referenceCount,influentialCitationCount,year,abstract" | python3 -m json.tool

# Semantic Scholar論文IDまたはDOIで取得
curl -s "https://api.semanticscholar.org/graph/v1/paper/DOI:10.1234/example?fields=title,citationCount"

論文の被引用情報の取得（誰が引用したか）

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/citations?fields=title,authors,year,citationCount&limit=10" | python3 -m json.tool

論文の参考文献情報の取得（何を引用しているか）

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/references?fields=title,authors,year,citationCount&limit=10" | python3 -m json.tool

論文の検索（arXiv検索の代替、JSONを返す）

curl -s "https://api.semanticscholar.org/graph/v1/paper/search?query=GRPO+reinforcement+learning&limit=5&fields=title,authors,year,citationCount,externalIds" | python3 -m json.tool

論文の推薦を取得

curl -s -X POST "https://api.semanticscholar.org/recommendations/v1/papers/" \
  -H "Content-Type: application/json" \
  -d '{"positivePaperIds": ["arXiv:2402.03300"], "negativePaperIds": []}' | python3 -m json.tool

著者プロファイル

curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=Yann+LeCun&fields=name,hIndex,citationCount,paperCount" | python3 -m json.tool

便利なSemantic Scholarフィールド

title, authors, year, abstract, citationCount, referenceCount, influentialCitationCount, isOpenAccess, openAccessPdf, fieldsOfStudy, publicationVenue, externalIds（arXiv ID、DOIなどを含む）

---

完全な研究ワークフロー

1. 発見: python scripts/search_arxiv.py "your topic" --sort date --max 10
2. 影響評価: curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID?fields=citationCount,influentialCitationCount"
3. アブストラクトを読む: web_extract(urls=["https://arxiv.org/abs/ID"])
4. 全文を読む: web_extract(urls=["https://arxiv.org/pdf/ID"])
5. 関連研究を探す: curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID/references?fields=title,citationCount&limit=20"
6. 推薦を取得: Semantic Scholarの推薦エンドポイントにPOST
7. 著者を追跡: curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=NAME"

レート制限

API	レート	認証
arXiv	約1 req / 3秒	不要
Semantic Scholar	1 req / 秒	不要（APIキーで100 req/秒）

注意点

• arXivはAtom XMLを返します。整形出力を得るには、ヘルパースクリプトまたはパース用スニペットを使用してください。
• Semantic ScholarはJSONを返します。可読性のために python3 -m json.tool にパイプしてください。
• arXiv ID: 旧形式（hep-th/0601001）と新形式（2402.03300）があります。
• PDF: https://arxiv.org/pdf/{id} — アブストラクト: https://arxiv.org/abs/{id}
• HTML（利用可能な場合）: https://arxiv.org/html/{id}
• ローカルPDFの処理については、ocr-and-documents スキルを参照してください。

IDのバージョニング

• arxiv.org/abs/1706.03762 は常に最新バージョンに解決されます。
• arxiv.org/abs/1706.03762v1 は特定の不変バージョンを指します。
• 引用を生成する際は、実際に読んだバージョンのサフィックスを保持して、引用のずれを防いでください（後のバージョンで内容が大幅に変更される可能性があります）。
• APIの<id>フィールドはバージョン付きURL（例：http://arxiv.org/abs/1706.03762v7）を返します。

撤回された論文

論文は投稿後に撤回されることがあります。その場合：

• <summary>フィールドに撤回通知が含まれます（「withdrawn」または「retracted」を確認）。
• メタデータフィールドが不完全な場合があります。
• 結果を有効な論文として扱う前に、必ずサマリーを確認してください。