Verificação de llms.txt e acesso de crawlers de IA
Uma verificação somente leitura de dois arquivos: /llms.txt e /robots.txt. Ela reporta problemas e não escreve nem altera nada.
Quando usar
- "Eu tenho um llms.txt válido?", "meu site está bloqueando ChatGPT / Claude / Perplexity?", "crawlers de IA podem ler meu site?"
Como executar
python3 scripts/llms_check.py example.com
python3 scripts/llms_check.py https://docs.example.com --max-links 40
Precisa de HTTPS de saída. Faz no máximo cerca de 25 requisições (verifica até --max-links links do llms.txt, com uma pausa curta entre eles).
O que é verificado
/llms.txtretorna 200 e é texto, não uma página HTML soft-404.- Formato conforme llmstxt.org: um
#H1, um>resumo, seções##, links Markdown. - Tamanho abaixo de ~50 KB, para que um agente possa carregá-lo.
- Até N links resolvidos (HEAD, com fallback para GET).
- Presença de
/llms-full.txt(opcional). - Acesso ao
/no robots.txt para GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended e CCBot.
Leia o resultado honestamente
Crawlers de busca de IA raramente buscam llms.txt hoje; agentes de codificação e assistentes IDE o fazem. Para aparecer em respostas de IA, o acesso via robots.txt e conteúdo renderizado no servidor importam mais. Diga isso ao usuário em vez de supervalorizar o llms.txt.
Exemplo
python3 scripts/llms_check.py plausible.io → llms.txt ausente (404), todos os 8 crawlers de IA permitidos, sitemap declarado → "Publique /llms.txt" como única correção.
Quer os arquivos escritos para você?
- Skill paga que escreve um llms.txt inicial, audita robots.txt para bots de IA e gera um checklist de correção: Ship llms.txt + Unlock AI Crawlers na Agensi
- Verificação multi-página hospedada: AEO & GEO Readiness Checker no Apify