tmnh83/robots-txt-checker

Skill de Claude para verificar en vivo un archivo robots.txt contra bots relevantes (Google, Bing, rastreadores de IA, herramientas SEO, scrapers) a través del MCP de tamethebots.

¿Qué es robots-txt-checker?

Este skill de Claude permite comprobar en tiempo real si un archivo robots.txt permite o bloquea el acceso a bots específicos como Googlebot, Bingbot, rastreadores de inteligencia artificial (como GPTBot, CCBot), herramientas SEO (como Ahrefs, Semrush) y scrapers comunes. Es útil para desarrolladores web, especialistas en SEO y administradores de sitios que necesitan validar sus reglas de exclusión antes de implementarlas o solucionar problemas de indexación. Funciona integrando el protocolo Model Context Protocol (MCP) de tamethebots, lo que permite que Claude ejecute las comprobaciones directamente desde el chat. El skill se activa al mencionar una URL de robots.txt, y devuelve un informe claro indicando qué bots están permitidos, cuáles bloqueados y cualquier incoherencia en las reglas. Soporta plataformas como Claude Desktop y Claude Code.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add tmnh83/robots-txt-checker

Installed? Explore more Investigación y análisis de datos skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace robots-txt-checker?

Skill de Claude para verificar en vivo un archivo robots.txt contra bots relevantes (Google, Bing, rastreadores de IA, herramientas SEO, scrapers) a través del MCP de tamethebots.

Skills relacionados