Lord1Egypt/awesome-skill-forge

arXiv Research

Recherchez et récupérez des articles académiques depuis arXiv via leur API REST gratuite. Pas de clé API, aucune dépendance — seulement curl.

Référence rapide

Action	Commande
Rechercher des articles	curl "https://export.arxiv.org/api/query?search_query=all:QUERY&max_results=5"
Obtenir un article spécifique	curl "https://export.arxiv.org/api/query?id_list=2402.03300"
Lire le résumé (web)	web_extract(urls=["https://arxiv.org/abs/2402.03300"])
Lire l'article complet (PDF)	web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

Recherche d'articles

L'API renvoie du XML Atom. Analysez-le avec grep/sed ou pipez-le via python3 pour obtenir une sortie propre.

Recherche de base

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5"

Sortie propre (analyse du XML en format lisible)

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5&sortBy=submittedDate&sortOrder=descending" | python3 -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom'}
root = ET.parse(sys.stdin).getroot()
for i, entry in enumerate(root.findall('a:entry', ns)):
    title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
    arxiv_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
    published = entry.find('a:published', ns).text[:10]
    authors = ', '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
    summary = entry.find('a:summary', ns).text.strip()[:200]
    cats = ', '.join(c.get('term') for c in entry.findall('a:category', ns))
    print(f'{i+1}. [{arxiv_id}] {title}')
    print(f'   Auteurs : {authors}')
    print(f'   Publié le : {published} | Catégories : {cats}')
    print(f'   Résumé : {summary}...')
    print(f'   PDF : https://arxiv.org/pdf/{arxiv_id}')
    print()
"

Syntaxe des requêtes de recherche

Préfixe	Recherche dans	Exemple
all:	Tous les champs	all:transformer+attention
ti:	Titre	ti:large+language+models
au:	Auteur	au:vaswani
abs:	Résumé	abs:reinforcement+learning
cat:	Catégorie	cat:cs.AI
co:	Commentaire	co:accepted+NeurIPS

Opérateurs booléens

# ET (par défaut en utilisant +)
search_query=all:transformer+attention

# OU
search_query=all:GPT+OR+all:BERT

# ET NON
search_query=all:language+model+ANDNOT+all:vision

# Expression exacte
search_query=ti:"chain+of+thought"

# Combiné
search_query=au:hinton+AND+cat:cs.LG

Tri et pagination

Paramètre	Options
sortBy	relevance, lastUpdatedDate, submittedDate
sortOrder	ascending, descending
start	Décalage des résultats (0-based)
max_results	Nombre de résultats (10 par défaut, max 30000)

# Les 10 derniers articles dans cs.AI
curl -s "https://export.arxiv.org/api/query?search_query=cat:cs.AI&sortBy=submittedDate&sortOrder=descending&max_results=10"

Récupération d'articles spécifiques

# Par identifiant arXiv
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300"

# Plusieurs articles
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300,2401.12345,2403.00001"

Génération BibTeX

Après avoir récupéré les métadonnées d'un article, générez une entrée BibTeX :

{% raw %}

curl -s "https://export.arxiv.org/api/query?id_list=1706.03762" | python3 -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom', 'arxiv': 'http://arxiv.org/schemas/atom'}
root = ET.parse(sys.stdin).getroot()
entry = root.find('a:entry', ns)
if entry is None: sys.exit('Article introuvable')
title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
authors = ' and '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
year = entry.find('a:published', ns).text[:4]
raw_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
cat = entry.find('arxiv:primary_category', ns)
primary = cat.get('term') if cat is not None else 'cs.LG'
last_name = entry.find('a:author', ns).find('a:name', ns).text.split()[-1]
print(f'@article{{{last_name}{year}_{raw_id.replace(\".\", \"\")},')
print(f'  title     = {{{title}}},')
print(f'  author    = {{{authors}}},')
print(f'  year      = {{{year}}},')
print(f'  eprint    = {{{raw_id}}},')
print(f'  archivePrefix = {{arXiv}},')
print(f'  primaryClass  = {{{primary}}},')
print(f'  url       = {{https://arxiv.org/abs/{raw_id}}}')
print('}')
"

{% endraw %}

Lecture du contenu d'un article

Après avoir trouvé un article, lisez-le :

# Page de résumé (rapide, métadonnées + résumé)
web_extract(urls=["https://arxiv.org/abs/2402.03300"])

# Article complet (PDF → markdown via Firecrawl)
web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

Pour le traitement local de PDF, consultez la compétence ocr-and-documents.

Catégories courantes

Catégorie	Domaine
cs.AI	Intelligence Artificielle
cs.CL	Calcul et Langage (TALN)
cs.CV	Vision par Ordinateur
cs.LG	Apprentissage Automatique
cs.CR	Cryptographie et Sécurité
stat.ML	Apprentissage Automatique (Statistiques)
math.OC	Optimisation et Contrôle
physics.comp-ph	Physique Computationnelle

Liste complète : https://arxiv.org/category_taxonomy

Script d'aide

Le script scripts/search_arxiv.py gère l'analyse XML et fournit une sortie propre :

python scripts/search_arxiv.py "GRPO reinforcement learning"
python scripts/search_arxiv.py "transformer attention" --max 10 --sort date
python scripts/search_arxiv.py --author "Yann LeCun" --max 5
python scripts/search_arxiv.py --category cs.AI --sort date
python scripts/search_arxiv.py --id 2402.03300
python scripts/search_arxiv.py --id 2402.03300,2401.12345

Aucune dépendance — utilise uniquement la bibliothèque standard Python.

---

Semantic Scholar (Citations, Articles connexes, Profils d'auteurs)

arXiv ne fournit pas de données de citations ni de recommandations. Utilisez l'API Semantic Scholar pour cela — gratuite, pas de clé nécessaire pour une utilisation de base (1 requête/s), renvoie du JSON.

Obtenir les détails d'un article + citations

# Par identifiant arXiv
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300?fields=title,authors,citationCount,referenceCount,influentialCitationCount,year,abstract" | python3 -m json.tool

# Par identifiant Semantic Scholar ou DOI
curl -s "https://api.semanticscholar.org/graph/v1/paper/DOI:10.1234/example?fields=title,citationCount"

Obtenir les citations D'UN article (qui l'a cité)

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/citations?fields=title,authors,year,citationCount&limit=10" | python3 -m json.tool

Obtenir les références D'UN article (ce qu'il cite)

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/references?fields=title,authors,year,citationCount&limit=10" | python3 -m json.tool

Rechercher des articles (alternative à la recherche arXiv, renvoie du JSON)

curl -s "https://api.semanticscholar.org/graph/v1/paper/search?query=GRPO+reinforcement+learning&limit=5&fields=title,authors,year,citationCount,externalIds" | python3 -m json.tool

Obtenir des recommandations d'articles

curl -s -X POST "https://api.semanticscholar.org/recommendations/v1/papers/" \
  -H "Content-Type: application/json" \
  -d '{"positivePaperIds": ["arXiv:2402.03300"], "negativePaperIds": []}' | python3 -m json.tool

Profil d'auteur

curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=Yann+LeCun&fields=name,hIndex,citationCount,paperCount" | python3 -m json.tool

Champs utiles de Semantic Scholar

title, authors, year, abstract, citationCount, referenceCount, influentialCitationCount, isOpenAccess, openAccessPdf, fieldsOfStudy, publicationVenue, externalIds (contient l'identifiant arXiv, DOI, etc.)

---

Flux de recherche complet

1. Découvrir : python scripts/search_arxiv.py "votre sujet" --sort date --max 10
2. Évaluer l'impact : curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID?fields=citationCount,influentialCitationCount"
3. Lire le résumé : web_extract(urls=["https://arxiv.org/abs/ID"])
4. Lire l'article complet : web_extract(urls=["https://arxiv.org/pdf/ID"])
5. Trouver des travaux connexes : curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID/references?fields=title,citationCount&limit=20"
6. Obtenir des recommandations : POST vers le point d'accès des recommandations Semantic Scholar
7. Suivre les auteurs : curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=NOM"

Limites de débit

API	Débit	Authentification
arXiv	~1 req / 3 secondes	Aucune nécessaire
Semantic Scholar	1 req / seconde	Aucune (100 req/s avec clé API)

Remarques

• arXiv renvoie du XML Atom — utilisez le script d'aide ou l'extrait d'analyse pour une sortie propre
• Semantic Scholar renvoie du JSON — pipez-le via python3 -m json.tool pour plus de lisibilité
• Identifiants arXiv : ancien format (hep-th/0601001) vs nouveau (2402.03300)
• PDF : https://arxiv.org/pdf/{id} — Résumé : https://arxiv.org/abs/{id}
• HTML (lorsque disponible) : https://arxiv.org/html/{id}
• Pour le traitement local de PDF, consultez la compétence ocr-and-documents

Versions des identifiants

• arxiv.org/abs/1706.03762 pointe toujours vers la dernière version
• arxiv.org/abs/1706.03762v1 pointe vers une version spécifique immuable
• Lors de la génération de citations, conservez le suffixe de version que vous avez réellement lu pour éviter la dérive des citations (une version ultérieure peut modifier substantiellement le contenu)
• Le champ <id> de l'API renvoie l'URL versionnée (ex : http://arxiv.org/abs/1706.03762v7)

Articles retirés

Les articles peuvent être retirés après soumission. Dans ce cas :

• Le champ <summary> contient un avis de retrait (cherchez "withdrawn" ou "retracted")
• Les champs de métadonnées peuvent être incomplets
• Vérifiez toujours le résumé avant de traiter un résultat comme un article valide