cygnixlabs-cmd/cygnix-seo-skills

Vérifie si un site possède un fichier /llms.txt valide (format llmstxt.org, liens fonctionnels, taille) et si robots.txt autorise les crawlers d'IA tels que GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot et Google-Extended. Utilisez-le lorsque l'utilisateur pose des questions sur llms.txt, l'accès des crawlers d'IA, le blocage ou l'autorisation des bots d'IA, ou si ChatGPT/Claude/Perplexity peuvent lire son site. Lecture seule.

Qu'est-ce que cygnix-seo-skills ?

Cette compétence effectue une vérification en lecture seule de deux fichiers essentiels pour l'accessibilité d'un site web aux agents d'IA : `/llms.txt` et `/robots.txt`. Elle analyse la validité du fichier llms.txt selon la norme llmstxt.org (format, taille inférieure à ~50 Ko, présence de sections), résout jusqu'à un nombre configurable de liens qu'il contient, et vérifie que robots.txt n'interdit pas l'accès aux crawlers d'IA majeurs (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, etc.). Son principal atout est d'offrir un diagnostic rapide et honnête, sans modifier les fichiers sur le serveur. Elle est particulièrement utile pour les développeurs, les équipes SEO et les propriétaires de sites qui souhaitent savoir si leur contenu est correctement indexé par les assistants de codage et les IDE modernes, plutôt que par les crawlers de recherche d'IA traditionnels qui utilisent rarement llms.txt aujourd'hui. La compétence s'exécute via une simple commande Python, nécessite un accès HTTPS sortant, et effectue environ 25 requêtes maximum. Elle peut être utilisée sur n'importe quel site accessible publiquement.

Compatible avec✓Claude Code~Codex CLI~Cursor

npx skills add https://github.com/cygnixlabs-cmd/cygnix-seo-skills/tree/HEAD/skills/llms-txt-check

Documentation

Vérification de llms.txt et de l'accès des crawlers d'IA

Une vérification en lecture seule de deux fichiers : /llms.txt et /robots.txt. Elle signale les problèmes et n'écrit ni ne modifie rien.

Quand l'utiliser

« Ai-je un fichier llms.txt valide ? », « mon site bloque-t-il ChatGPT / Claude / Perplexity ? », « les crawlers d'IA peuvent-ils lire mon site ? »

Comment exécuter

python3 scripts/llms_check.py example.com
python3 scripts/llms_check.py https://docs.example.com --max-links 40

Nécessite un accès HTTPS sortant. Effectue environ 25 requêtes au maximum (il vérifie jusqu'à --max-links liens depuis llms.txt, avec une courte pause entre eux).

Ce qu'il vérifie

/llms.txt retourne un code 200 et est du texte, pas une page HTML 404 molle.
Format selon llmstxt.org : un # H1, un > résumé, des sections ##, des liens Markdown.
Taille inférieure à ~50 Ko, pour qu'un agent puisse le charger.
Jusqu'à N liens résolus (HEAD, avec repli sur GET).
Présence de /llms-full.txt (optionnel).
Accès robots.txt à / pour GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended et CCBot.

Lisez le résultat honnêtement

Les crawleurs de recherche d'IA consultent rarement llms.txt aujourd'hui ; ce sont les agents de codage et les assistants IDE qui le font. Pour apparaître dans les réponses d'IA, l'accès robots.txt et le contenu rendu côté serveur sont plus importants. Dites-le à l'utilisateur plutôt que de survendre llms.txt.

Exemple

python3 scripts/llms_check.py plausible.io → llms.txt manquant (404), tous les 8 crawlers d'IA autorisés, sitemap déclaré → « Publiez /llms.txt » comme seule correction.

Vous voulez que les fichiers soient écrits pour vous ?

Compétence payante qui écrit un llms.txt de démarrage, audite robots.txt pour les bots d'IA et fournit une liste de corrections : Ship llms.txt + Unlock AI Crawlers on Agensi
Vérification multi-page hébergée : AEO & GEO Readiness Checker on Apify