Communitygithub.com

Spicrawl docs2skill

從文件網站(例如開發者想讓其 Coding Agent 了解的程式庫文件)自動生成 Agent Skill、llms.txt、llms-full.txt 或 AGENTS.md。透過執行 llms-txt.mjs,利用 Spicrawl API 讀取網站 Sitemap 並批次將頁面轉換為 Markdown。

Spicrawl docs2skill 是什麼?

這是一個可讓開發者快速將文件網站轉換成 AI Agent(如 Claude Code、Cursor、Codex)可直接使用之知識的技能工具。它會自動從網站的 Sitemap 或首頁連結發現所有頁面,並透過 Spicrawl API 將內容批次抓取、轉換為乾淨的 Markdown,最後輸出 `llms.txt`、`llms-full.txt`,若指定 `--skill` 參數,還會產生完整的 Agent Skill 資料夾(含 SKILL.md 及參考文件)與 AGENTS.md。支援使用 `--include` 篩選路徑、`--max` 控制頁數上限、`--js` 渲染 JavaScript 等選項。適用於所有支援 Skills 功能的 Coding Agent 環境,並內建信用點數估算與失敗/空頁面統計,避免浪費 API 額度。

相容平台✓Claude Code~Codex CLI~Cursor
npx skills add OfficialSpicrawl/docs2skill

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

Spicrawl docs2skill 是做什麼的?

llms-txt.mjs 會從網站的 Sitemap(或首頁連結)發現頁面,透過 Spicrawl API 批次將它們抓取為乾淨的 Markdown,並寫入 llms.txt 及 llms-full.txt。若加上 --skill <名稱>,它還會建立一個 Agent Skill 資料夾(含 SKILL.md + references/*.md)以及 AGENTS.md。

設定

  1. 需要 Node >= 18,並且在環境變數 SPICRAWL_API_KEY 中設定 Spicrawl API 金鑰(可在 https://app.spicrawl.com 免費取得,每月 1,000 點額度)。若該變數未設定,請要求使用者匯入該變數。不要要求他們將金鑰貼到對話中。
  2. 在此目錄(即存放 llms-txt.mjs 的資料夾)中執行一次 npm install。

執行

請在此目錄下執行:

node llms-txt.mjs https://docs.example.com                          # 輸出 ./out 中的 llms.txt + llms-full.txt
node llms-txt.mjs https://docs.example.com --skill example-docs     # 同時輸出 out/example-docs/SKILL.md、references/、out/AGENTS.md
node llms-txt.mjs https://example.com --include /docs --max 100     # 只抓取 /docs 路徑下的頁面,最多 100 頁
node llms-txt.mjs https://app.example.com --js                      # 渲染 JavaScript(每頁花費較多點數)
  • --max 限制擷取的頁面數量(預設 50)。工具會在開始前顯示預估的點數花費。
  • --skill 接受一個 kebab-case 格式的名稱(僅限小寫字母、數字、連字號)。若名稱不合法,會在進行任何 API 呼叫前拒絕。
  • 要安裝產生的 Skill,請將資料夾複製到 Agent 的 Skills 目錄,例如 cp -r out/example-docs ~/.claude/skills/(Claude Code)或專案的 .agents/skills/。

讀取輸出

  • 最終的摘要行會報告成功寫入的頁面數量,以及因失敗、被阻擋(網站回應 HTTP 4xx/5xx)或空白而跳過的頁面數量。跳過的頁面不計點數。
  • 若使用較少的頁數重新執行到同一個 --out 目錄,舊的參考檔案會保留下來;若要獲得乾淨的結果,請先刪除該資料夾。

費用

一般擷取每頁約消耗 1 點點數;--js 模式每頁花費較多。建議先在免費方案中用小的 --max 測試,等輸出結果正確後再放寬限制。

規範

  • 絕不列印、記錄或提交 API 金鑰。
  • 尊重網站的服務條款與 robots 規則;僅為使用者有權以這種方式使用的文件產生 Skill。
  • 不要重複執行:每個網站執行一次就夠了,除非文件有更新。

相關技能