tmnh83/robots-txt-checker

Compétence Claude pour vérifier en direct un fichier robots.txt par rapport aux robots pertinents (Google, Bing, crawlers IA, outils SEO, scraper) via tamethebots MCP.

Qu'est-ce que robots-txt-checker ?

Ce skill permet à un utilisateur de Claude, Cursor ou tout agent IA compatible de vérifier en direct si un fichier robots.txt bloque ou autorise les crawlers les plus importants : ceux de Google, Bing, les crawlers d'intelligence artificielle (comme GPTBot, Claude-Web, etc.), les outils SEO et les scraper. Il utilise le serveur MCP tamethebots pour effectuer les requêtes et analyser les règles. Utile pour les développeurs web, SEOs ou administrateurs qui souhaitent auditer rapidement leur fichier robots.txt sans quitter leur environnement de développement. Le skill supporte les plateformes Claude (Desktop, CLI, Code) via le client MCP ou directement via le menu skill.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add tmnh83/robots-txt-checker

Installed? Explore more Recherche et analyse de données skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait robots-txt-checker ?

Compétence Claude pour vérifier en direct un fichier robots.txt par rapport aux robots pertinents (Google, Bing, crawlers IA, outils SEO, scraper) via tamethebots MCP.

Skills associés