Spicrawl docs2skill 是做什麼的?
llms-txt.mjs 會從網站的 Sitemap(或首頁連結)發現頁面,透過 Spicrawl API 批次將它們抓取為乾淨的 Markdown,並寫入 llms.txt 及 llms-full.txt。若加上 --skill <名稱>,它還會建立一個 Agent Skill 資料夾(含 SKILL.md + references/*.md)以及 AGENTS.md。
設定
- 需要 Node >= 18,並且在環境變數
SPICRAWL_API_KEY中設定 Spicrawl API 金鑰(可在 https://app.spicrawl.com 免費取得,每月 1,000 點額度)。若該變數未設定,請要求使用者匯入該變數。不要要求他們將金鑰貼到對話中。 - 在此目錄(即存放
llms-txt.mjs的資料夾)中執行一次npm install。
執行
請在此目錄下執行:
node llms-txt.mjs https://docs.example.com # 輸出 ./out 中的 llms.txt + llms-full.txt
node llms-txt.mjs https://docs.example.com --skill example-docs # 同時輸出 out/example-docs/SKILL.md、references/、out/AGENTS.md
node llms-txt.mjs https://example.com --include /docs --max 100 # 只抓取 /docs 路徑下的頁面,最多 100 頁
node llms-txt.mjs https://app.example.com --js # 渲染 JavaScript(每頁花費較多點數)
--max限制擷取的頁面數量(預設 50)。工具會在開始前顯示預估的點數花費。--skill接受一個 kebab-case 格式的名稱(僅限小寫字母、數字、連字號)。若名稱不合法,會在進行任何 API 呼叫前拒絕。- 要安裝產生的 Skill,請將資料夾複製到 Agent 的 Skills 目錄,例如
cp -r out/example-docs ~/.claude/skills/(Claude Code)或專案的.agents/skills/。
讀取輸出
- 最終的摘要行會報告成功寫入的頁面數量,以及因失敗、被阻擋(網站回應 HTTP 4xx/5xx)或空白而跳過的頁面數量。跳過的頁面不計點數。
- 若使用較少的頁數重新執行到同一個
--out目錄,舊的參考檔案會保留下來;若要獲得乾淨的結果,請先刪除該資料夾。
費用
一般擷取每頁約消耗 1 點點數;--js 模式每頁花費較多。建議先在免費方案中用小的 --max 測試,等輸出結果正確後再放寬限制。
規範
- 絕不列印、記錄或提交 API 金鑰。
- 尊重網站的服務條款與 robots 規則;僅為使用者有權以這種方式使用的文件產生 Skill。
- 不要重複執行:每個網站執行一次就夠了,除非文件有更新。