Verificación de llms.txt y acceso de rastreadores de IA
Una verificación de solo lectura de dos archivos: /llms.txt y /robots.txt. Reporta problemas y no escribe ni cambia nada.
Cuándo usarlo
- "¿Tengo un llms.txt válido?", "¿mi sitio está bloqueando ChatGPT / Claude / Perplexity?", "¿los rastreadores de IA pueden leer mi sitio?"
Cómo ejecutar
python3 scripts/llms_check.py example.com
python3 scripts/llms_check.py https://docs.example.com --max-links 40
Requiere HTTPS saliente. Realiza aproximadamente 25 solicitudes como máximo (verifica hasta --max-links enlaces desde llms.txt, con una breve pausa entre ellos).
Qué verifica
/llms.txtdevuelve 200 y es texto, no una página HTML soft-404.- Formato según llmstxt.org: un
#H1, un>resumen, secciones##, enlaces Markdown. - Tamaño inferior a ~50 KB, para que un agente pueda cargarlo.
- Hasta N enlaces se resuelven (HEAD, con fallback a GET).
- Presencia de
/llms-full.txt(opcional). - Acceso desde robots.txt a
/para GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended y CCBot.
Lee el resultado con honestidad
Los rastreadores de búsqueda de IA rara vez obtienen llms.txt hoy en día; los agentes de codificación y asistentes IDE sí lo hacen. Para aparecer en respuestas de IA, el acceso en robots.txt y el contenido renderizado en el servidor importan más. Dile esto al usuario en lugar de sobrevalorar llms.txt.
Ejemplo
python3 scripts/llms_check.py plausible.io → llms.txt faltante (404), los 8 rastreadores de IA permitidos, sitemap declarado → "Publica /llms.txt" como la única solución.
¿Quieres que los archivos se escriban por ti?
- Habilidad de pago que escribe un llms.txt inicial, audita robots.txt para bots de IA y entrega una lista de correcciones: Ship llms.txt + Unlock AI Crawlers en Agensi
- Verificación alojada multipágina: AEO & GEO Readiness Checker en Apify