jyluo1994/paper-acquisition-anti-scrape

Compétence OpenClaw/Codex pour l'acquisition résiliente de PDF académiques.

Qu'est-ce que paper-acquisition-anti-scrape ?

Cette compétence est conçue pour les agents AI (tels que ceux fonctionnant avec OpenClaw ou Codex) qui ont besoin de télécharger des articles académiques au format PDF de manière fiable. Elle gère les sites web qui bloquent le scraping automatisé en utilisant des techniques anti-bot, des proxies, des changements d'user-agent, et des délais aléatoires pour imiter le comportement d'un navigateur humain. Idéale pour les chercheurs, étudiants, ou développeurs qui automatisent la collecte de littérature scientifique, elle supporte les bases de données académiques courantes comme arXiv, PubMed Central, et d'autres dépôts ouverts. Elle s'intègre facilement dans des workflows de récupération de documents en contournant les blocages IP et les CAPTCHAs simples, réduisant ainsi les échecs de téléchargement.

Compatible avec~Claude Code✓Codex CLI~Cursor
npx skills add jyluo1994/paper-acquisition-anti-scrape

Installed? Explore more Recherche et analyse de données skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait paper-acquisition-anti-scrape ?

Compétence OpenClaw/Codex pour l'acquisition résiliente de PDF académiques.

Cette compétence permet à un agent AI de télécharger des articles académiques au format PDF en contournant les mécanismes anti-scraping. Elle implémente des stratégies comme la rotation des user-agents, l'utilisation de proxies, et l'ajout de délais aléatoires entre les requêtes pour éviter les blocages. Fonctionne avec des dépôts comme arXiv, PubMed Central, et d'autres sources ouvertes. Idéale pour automatiser la collecte de documents scientifiques sans interruption.

Skills associés