Spicrawl docs2skill

Que fait Spicrawl docs2skill ?

llms-txt.mjs découvre les pages d'un site à partir de son sitemap (ou des liens de la page d'accueil), les récupère par lots pour les convertir en Markdown propre via l'API Spicrawl, et écrit llms.txt et llms-full.txt. Avec --skill <nom>, il écrit également un dossier de compétence d'agent (SKILL.md + references/*.md) et un fichier AGENTS.md.

Configuration

1. Nécessite Node >= 18 et une clé API Spicrawl dans SPICRAWL_API_KEY (clé gratuite sur https://app.spicrawl.com, 1000 crédits/mois). Si la variable n'est pas définie, demandez à l'utilisateur de l'exporter. Ne lui demandez pas de coller la clé dans le chat.
2. Exécutez npm install une fois dans ce répertoire (le dossier qui contient llms-txt.mjs).

Exécution

Exécutez à partir de ce répertoire :

node llms-txt.mjs https://docs.example.com                          # llms.txt + llms-full.txt dans ./out
node llms-txt.mjs https://docs.example.com --skill example-docs     # génère aussi out/example-docs/SKILL.md, references/, out/AGENTS.md
node llms-txt.mjs https://example.com --include /docs --max 100     # uniquement les pages sous /docs, au maximum 100
node llms-txt.mjs https://app.example.com --js                      # rendu JavaScript (coûte plus par page)

• --max limite le nombre de pages récupérées (valeur par défaut : 50). L'outil affiche le coût estimé en crédits avant de commencer.
• --skill prend un nom en kebab-case (lettres minuscules, chiffres, traits d'union). Un nom invalide est rejeté avant tout appel API.
• Installez la compétence générée en copiant le dossier dans le répertoire de compétences de l'agent, par exemple cp -r out/example-docs ~/.claude/skills/ (Claude Code) ou dans le dossier .agents/skills/ d'un dépôt.

Lecture des résultats

• La ligne de résumé finale indique le nombre de pages écrites et combien ont été ignorées (échec, bloquées – réponse HTTP 4xx/5xx – ou vides). Les pages ignorées ne coûtent aucun crédit.
• Si vous réexécutez la commande dans le même --out avec moins de pages, les anciens fichiers de référence restent en place ; supprimez d'abord le dossier pour un résultat propre.

Coût

Environ 1 crédit par page avec une récupération simple ; --js coûte plus par page. Commencez avec un petit --max sur le plan gratuit et augmentez-le une fois que le résultat vous convient.

Garde-fous

• N'imprimez, ne journalisez et ne commitez jamais la clé API.
• Respectez les conditions d'utilisation et les règles des robots du site ; ne générez des compétences que pour la documentation que l'utilisateur est autorisé à utiliser de cette manière.
• Ne bouclez pas : une seule exécution par site suffit jusqu'à ce que la documentation change.