Spicrawl docs2skill

Spicrawl docs2skill は何をしますか？

llms-txt.mjs は、サイトの sitemap（またはトップページのリンク）からページを検出し、Spicrawl API を使ってそれらを一括スクレイピングしてクリーンな Markdown に変換し、llms.txt と llms-full.txt を書き出します。--skill <名前> を指定すると、エージェントスキルフォルダ（SKILL.md + references/*.md）および AGENTS.md も生成します。

セットアップ

1. Node.js 18 以上と、SPICRAWL_API_KEY 環境変数に設定された Spicrawl API キーが必要です（https://app.spicrawl.com で無料キー取得可能、月 1,000 クレジット付与）。変数が設定されていない場合は、ユーザーに export するよう依頼してください。API キーをチャットに貼り付けさせないでください。
2. このディレクトリ（llms-txt.mjs があるフォルダ）で npm install を一度実行してください。

実行

このディレクトリから実行します：

node llms-txt.mjs https://docs.example.com                          # ./out に llms.txt + llms-full.txt を生成
node llms-txt.mjs https://docs.example.com --skill example-docs     # さらに out/example-docs/SKILL.md, references/, out/AGENTS.md を生成
node llms-txt.mjs https://example.com --include /docs --max 100     # /docs 配下のページのみ、最大 100 ページ
node llms-txt.mjs https://app.example.com --js                      # JavaScript をレンダリング（ページあたりコスト増）

• --max は取得するページ数を上限指定します（デフォルト 50）。開始前に推定クレジットコストが表示されます。
• --skill にはケバブケース（小文字、数字、ハイフン）の名前を指定します。無効な名前は API 呼び出し前に拒否されます。
• 生成されたスキルは、フォルダごとエージェントのスキルディレクトリにコピーして利用します。例：cp -r out/example-docs ~/.claude/skills/（Claude Code の場合）またはリポジトリの .agents/skills/ に配置します。

出力の読み方

• 最終サマリー行には、書き出されたページ数と、失敗・ブロック（HTTP 4xx/5xx）・空のためにスキップされたページ数が表示されます。スキップされたページはクレジットを消費しません。
• 同じ --out ディレクトリに少ないページ数で再実行すると、古い参照ファイルはそのまま残ります。クリーンな結果を得るには先にフォルダを削除してください。

コスト

通常のフェッチではページあたり約 1 クレジット。--js はページあたりのコストが高くなります。無料プランでは小さい --max で試し、出力が適切になったら拡大してください。

ガードレール

• API キーを決して画面に表示・ログ出力・コミットしないでください。
• サイトの利用規約と robots.txt を尊重し、ユーザーがこの方法で使用することを許可されているドキュメントに対してのみスキルを生成してください。
• ループさせないでください：ドキュメントが変更されるまでは、サイトごとに 1 回の実行で十分です。