Spicrawl docs2skill (Oficial)

Spicrawl docs2skill

O llms-txt.mjs descobre as páginas de um site a partir do seu sitemap (ou dos links da página inicial), faz o scraping em lote convertendo-as para Markdown limpo usando a API Spicrawl, e gera llms.txt e llms-full.txt. Com --skill <nome>, ele também cria uma pasta de skill para agente (SKILL.md + references/*.md) e AGENTS.md.

Configuração

1. É necessário Node >= 18 e uma chave da API Spicrawl em SPICRAWL_API_KEY (chave gratuita em https://app.spicrawl.com, 1.000 créditos/mês). Se a variável não estiver definida, peça ao usuário para exportá-la. Não peça para colar a chave no chat.
2. Execute npm install uma vez neste diretório (a pasta que contém llms-txt.mjs).

Execução

Execute a partir deste diretório:

node llms-txt.mjs https://docs.exemplo.com.br                          # llms.txt + llms-full.txt em ./out
node llms-txt.mjs https://docs.exemplo.com.br --skill exemplo-docs     # também gera out/exemplo-docs/SKILL.md, references/, out/AGENTS.md
node llms-txt.mjs https://exemplo.com --include /docs --max 100        # apenas páginas sob /docs, no máximo 100
node llms-txt.mjs https://app.exemplo.com --js                         # renderiza JavaScript (custa mais por página)

• --max limita o número de páginas buscadas (padrão 50). A ferramenta exibe o custo estimado em créditos antes de iniciar.
• --skill aceita um nome em kebab-case (letras minúsculas, dígitos, hífens). Um nome inválido é rejeitado antes de qualquer chamada à API.
• Instale o skill gerado copiando a pasta para o diretório de skills do agente, por exemplo cp -r out/exemplo-docs ~/.claude/skills/ (Claude Code) ou para .agents/skills/ do repositório.

Leitura da saída

• A linha final de resumo informa quantas páginas foram escritas, quantas foram ignoradas por falha, bloqueio (o site respondeu com HTTP 4xx/5xx) ou vazias. Páginas ignoradas não consomem créditos.
• Reexecutar no mesmo --out com menos páginas deixa arquivos de referência antigos no lugar; exclua a pasta primeiro para obter um resultado limpo.

Custo

Cerca de 1 crédito por página com uma busca simples; --js custa mais por página. Comece com um --max pequeno no plano gratuito e aumente quando a saída estiver com a aparência correta.

Limitações

• Nunca imprima, registre ou comita a chave da API.
• Respeite os termos do site e as regras de robots; gere skills apenas para documentações que o usuário tenha permissão de usar desta forma.
• Não execute em loop: uma execução por site é suficiente até que a documentação mude.