Samin12/skills

arXiv Research

arXivの無料REST APIを介して学術論文を検索・取得します。APIキーは不要で、依存関係もcurlのみです。

クイックリファレンス

アクション	コマンド
論文検索	curl "https://export.arxiv.org/api/query?search_query=all:QUERY&max_results=5"
特定論文の取得	curl "https://export.arxiv.org/api/query?id_list=2402.03300"
アブストラクトの閲覧（Web）	web_extract(urls=["https://arxiv.org/abs/2402.03300"])
全文の閲覧（PDF）	web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

論文の検索

APIはAtom XMLを返します。grep/sedでパースするか、python3にパイプしてクリーンな出力を得ます。

基本検索

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5"

クリーンな出力（XMLを読み取り可能な形式にパース）

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5&sortBy=submittedDate&sortOrder=descending" | python3 -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom'}
root = ET.parse(sys.stdin).getroot()
for i, entry in enumerate(root.findall('a:entry', ns)):
    title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
    arxiv_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
    published = entry.find('a:published', ns).text[:10]
    authors = ', '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
    summary = entry.find('a:summary', ns).text.strip()[:200]
    cats = ', '.join(c.get('term') for c in entry.findall('a:category', ns))
    print(f'{i+1}. [{arxiv_id}] {title}')
    print(f'   Authors: {authors}')
    print(f'   Published: {published} | Categories: {cats}')
    print(f'   Abstract: {summary}...')
    print(f'   PDF: https://arxiv.org/pdf/{arxiv_id}')
    print()
"

検索クエリの構文

プレフィックス	検索対象	例
all:	すべてのフィールド	all:transformer+attention
ti:	タイトル	ti:large+language+models
au:	著者	au:vaswani
abs:	アブストラクト	abs:reinforcement+learning
cat:	カテゴリ	cat:cs.AI
co:	コメント	co:accepted+NeurIPS

ブール演算子

# AND（+を使用する場合のデフォルト）
search_query=all:transformer+attention

# OR
search_query=all:GPT+OR+all:BERT

# AND NOT
search_query=all:language+model+ANDNOT+all:vision

# 完全一致
search_query=ti:"chain+of+thought"

# 組み合わせ
search_query=au:hinton+AND+cat:cs.LG

並び替えとページネーション

パラメータ	オプション
sortBy	relevance, lastUpdatedDate, submittedDate
sortOrder	ascending, descending
start	結果のオフセット（0ベース）
max_results	結果数（デフォルト10、最大30000）

# cs.AIカテゴリの最新10論文
curl -s "https://export.arxiv.org/api/query?search_query=cat:cs.AI&sortBy=submittedDate&sortOrder=descending&max_results=10"

特定の論文の取得

# arXiv IDによる指定
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300"

# 複数論文
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300,2401.12345,2403.00001"

BibTeX生成

論文のメタデータを取得した後、BibTeXエントリを生成します：

{% raw %}

curl -s "https://export.arxiv.org/api/query?id_list=1706.03762" | python3 -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom', 'arxiv': 'http://arxiv.org/schemas/atom'}
root = ET.parse(sys.stdin).getroot()
entry = root.find('a:entry', ns)
if entry is None: sys.exit('Paper not found')
title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
authors = ' and '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
year = entry.find('a:published', ns).text[:4]
raw_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
cat = entry.find('arxiv:primary_category', ns)
primary = cat.get('term') if cat is not None else 'cs.LG'
last_name = entry.find('a:author', ns).find('a:name', ns).text.split()[-1]
print(f'@article{{{last_name}{year}_{raw_id.replace(\".\", \"\")},')
print(f'  title     = {{{title}}},')
print(f'  author    = {{{authors}}},')
print(f'  year      = {{{year}}},')
print(f'  eprint    = {{{raw_id}}},')
print(f'  archivePrefix = {{arXiv}},')
print(f'  primaryClass  = {{{primary}}},')
print(f'  url       = {{https://arxiv.org/abs/{raw_id}}}')
print('}')
"

{% endraw %}

論文内容の読み方

論文を見つけたら、以下の方法で読めます：

# アブストラクトページ（高速、メタデータ+アブストラクト）
web_extract(urls=["https://arxiv.org/abs/2402.03300"])

# 全文（PDF → Firecrawl経由でマークダウン）
web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

ローカルでのPDF処理については、ocr-and-documentsスキルを参照してください。

よく使われるカテゴリ

カテゴリ	分野
cs.AI	人工知能
cs.CL	計算言語学（NLP）
cs.CV	コンピュータビジョン
cs.LG	機械学習
cs.CR	暗号とセキュリティ
stat.ML	機械学習（統計）
math.OC	最適化と制御
physics.comp-ph	計算物理学

全リスト: https://arxiv.org/category_taxonomy

ヘルパースクリプト

scripts/search_arxiv.py スクリプトはXMLパースを処理し、クリーンな出力を提供します：

python scripts/search_arxiv.py "GRPO reinforcement learning"
python scripts/search_arxiv.py "transformer attention" --max 10 --sort date
python scripts/search_arxiv.py --author "Yann LeCun" --max 5
python scripts/search_arxiv.py --category cs.AI --sort date
python scripts/search_arxiv.py --id 2402.03300
python scripts/search_arxiv.py --id 2402.03300,2401.12345

依存関係は不要 — Python標準ライブラリのみ使用。

---

Semantic Scholar（引用、関連論文、著者プロファイル）

arXivは引用データやレコメンデーションを提供しません。そのような情報を得るには、Semantic Scholar APIを使用してください — 無料で、基本使用にはキーは不要（1 req/sec）、JSONを返します。

論文詳細と被引用情報の取得

# arXiv IDで検索
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300?fields=title,authors,citationCount,referenceCount,influentialCitationCount,year,abstract" | python3 -m json.tool

# Semantic Scholarの論文IDまたはDOIで検索
curl -s "https://api.semanticscholar.org/graph/v1/paper/DOI:10.1234/example?fields=title,citationCount"

ある論文の被引用情報（誰が引用したか）の取得

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/citations?fields=title,authors,year,citationCount&limit=10" | python3 -m json.tool

ある論文の参考文献（その論文が引用しているもの）の取得

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/references?fields=title,authors,year,citationCount&limit=10" | python3 -m json.tool

論文検索（arXiv検索の代替、JSONを返す）

curl -s "https://api.semanticscholar.org/graph/v1/paper/search?query=GRPO+reinforcement+learning&limit=5&fields=title,authors,year,citationCount,externalIds" | python3 -m json.tool

論文のレコメンデーション取得

curl -s -X POST "https://api.semanticscholar.org/recommendations/v1/papers/" \
  -H "Content-Type: application/json" \
  -d '{"positivePaperIds": ["arXiv:2402.03300"], "negativePaperIds": []}' | python3 -m json.tool

著者プロファイル

curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=Yann+LeCun&fields=name,hIndex,citationCount,paperCount" | python3 -m json.tool

便利なSemantic Scholarフィールド

title, authors, year, abstract, citationCount, referenceCount, influentialCitationCount, isOpenAccess, openAccessPdf, fieldsOfStudy, publicationVenue, externalIds（arXiv ID、DOIなどを含む）

---

完全な研究ワークフロー

1. 発見: python scripts/search_arxiv.py "your topic" --sort date --max 10
2. 影響評価: curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID?fields=citationCount,influentialCitationCount"
3. アブストラクト読む: web_extract(urls=["https://arxiv.org/abs/ID"])
4. 全文読む: web_extract(urls=["https://arxiv.org/pdf/ID"])
5. 関連研究を探す: curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID/references?fields=title,citationCount&limit=20"
6. レコメンデーションを得る: Semantic ScholarのレコメンデーションエンドポイントにPOST
7. 著者を追跡: curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=NAME"

レート制限

API	レート	認証
arXiv	~1 req / 3 秒	不要
Semantic Scholar	1 req / 秒	不要（APIキーで100 req/秒）

注記

• arXivはAtom XMLを返します — ヘルパースクリプトかパース用スニペットを使用してクリーンな出力を得てください
• Semantic ScholarはJSONを返します — python3 -m json.toolにパイプして読みやすくしてください
• arXiv ID: 古い形式（hep-th/0601001）と新しい形式（2402.03300）があります
• PDF: https://arxiv.org/pdf/{id} — アブストラクト: https://arxiv.org/abs/{id}
• HTML（利用可能な場合）: https://arxiv.org/html/{id}
• ローカルでのPDF処理については、ocr-and-documentsスキルを参照してください

IDのバージョン管理

• arxiv.org/abs/1706.03762 は常に最新バージョンに解決されます
• arxiv.org/abs/1706.03762v1 は特定の不変のバージョンを指します
• 引用を生成する際は、実際に読んだバージョンサフィックスを保持してください。後続のバージョンで内容が大幅に変更される可能性があるため、引用のずれを防ぎます
• APIの<id>フィールドはバージョン付きのURLを返します（例: http://arxiv.org/abs/1706.03762v7）

撤回された論文

論文は提出後に撤回されることがあります。その場合：

• <summary>フィールドに撤回通知が含まれます（"withdrawn"または"retracted"を探してください）
• メタデータフィールドが不完全な場合があります
• 結果を有効な論文として扱う前に、常にサマリーを確認してください