Spicrawl docs2skill

¿Qué hace Spicrawl docs2skill?

llms-txt.mjs descubre las páginas de un sitio a partir de su sitemap (o los enlaces de la página principal), las raspa por lotes a Markdown limpio con la API de Spicrawl y escribe llms.txt y llms-full.txt. Con --skill <nombre> también escribe una carpeta de skill para agente (SKILL.md + references/*.md) y AGENTS.md.

Configuración

1. Necesita Node >= 18 y una clave API de Spicrawl en SPICRAWL_API_KEY (clave gratuita en https://app.spicrawl.com, 1.000 créditos/mes). Si la variable no está establecida, pide al usuario que la exporte. No le pidas que pegue la clave en el chat.
2. Ejecuta npm install una vez en este directorio (la carpeta que contiene llms-txt.mjs).

Ejecución

Ejecuta desde este directorio:

node llms-txt.mjs https://docs.ejemplo.com                          # llms.txt + llms-full.txt en ./out
node llms-txt.mjs https://docs.ejemplo.com --skill ejemplos-docs     # también out/ejemplos-docs/SKILL.md, referencias/, out/AGENTS.md
node llms-txt.mjs https://ejemplo.com --include /docs --max 100     # solo páginas bajo /docs, máximo 100
node llms-txt.mjs https://app.ejemplo.com --js                      # renderizar JavaScript (cuesta más por página)

• --max limita las páginas obtenidas (por defecto 50). La herramienta imprime el costo estimado en créditos antes de comenzar.
• --skill acepta un nombre en kebab-case (minúsculas, dígitos, guiones). Un nombre inválido se rechaza antes de cualquier llamada a la API.
• Instala el skill generado copiando la carpeta en el directorio de skills del agente, por ejemplo cp -r out/ejemplos-docs ~/.claude/skills/ (Claude Code) o en un repositorio .agents/skills/.

Lectura de la salida

• La línea de resumen final informa las páginas escritas y cuántas se omitieron por fallo, bloqueadas (el sitio respondió HTTP 4xx/5xx) o vacías. Las páginas omitidas cuestan 0 créditos.
• Volver a ejecutar en el mismo --out con menos páginas deja los archivos de referencia anteriores; borra la carpeta primero para un resultado limpio.

Costo

Aproximadamente 1 crédito por página con una recuperación simple; --js cuesta más por página. Empieza con un --max pequeño en el plan gratuito y amplíalo una vez que la salida se vea correcta.

Guardarraíles

• Nunca imprimas, registres ni confirmes la clave API.
• Respeta los términos del sitio y las reglas de robots; genera skills solo para documentación que el usuario tenga permitido usar de esta manera.
• No lo repitas en bucle: una ejecución por sitio es suficiente hasta que la documentación cambie.