Community程式設計與開發github.com

chenhaodev/agentcurl

可切換的網路爬蟲中介層:統一介面支援多種後端引擎(靜態/trafilatura、Playwright、crawl4ai、Firecrawl、jina),並整合 DeepSeek 結構化資料萃取。包含原始碼儲存庫、MCP 伺服器以及 Claude Code 技能。

agentcurl 是什麼?

Agentcurl 是一個為 AI 代理與開發者設計的可切換網路爬蟲中介層,提供單一統一的 API 來呼叫多種不同的爬取引擎。它支援靜態 HTML 解析(trafilatura)、無頭瀏覽器(Playwright)、智慧爬取(crawl4ai、Firecrawl)以及搜尋引擎層級的擷取(jina),讓使用者能夠根據目標網站的特性動態切換最適合的後端。此外,Agentcurl 還可選用 DeepSeek 進行結構化資料萃取,將 HTML 內容直接轉換為結構化的輸出,省去自行撰寫解析規則的麻煩。此工具以 Python 套件形式發布,同時提供 MCP(Model Context Protocol)伺服器,方便 Claude Code 或 Cursor 等 AI 編輯器直接呼叫,大幅簡化網頁資訊獲取與處理流程。無論是開發爬蟲腳本、建立 RAG 管線,還是讓 AI 代理理解網頁內容,Agentcurl 都是靈活且高效的解決方案。

相容平台✓Claude Code~Codex CLI~Cursor
npx skills add chenhaodev/agentcurl

Installed? Explore more 程式設計與開發 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

agentcurl 是做什麼的?

可切換的網路爬蟲中介層:統一介面支援多種後端引擎(靜態/trafilatura、Playwright、crawl4ai、Firecrawl、jina),並整合 DeepSeek 結構化資料萃取。包含原始碼儲存庫、MCP 伺服器以及 Claude Code 技能。

相關技能