Community研究與資料分析github.com

tmnh83/robots-txt-檢查器

Claude 技能,用於透過 tamethebots MCP 即時檢查 robots.txt 對相關機器人(Google、Bing、AI 爬蟲、SEO 工具、抓取工具)的設定。

robots-txt-檢查器 是什麼?

此技能提供一個高效的解決方案,讓開發者與 SEO 專業人士能夠即時驗證其網站的 robots.txt 檔案,確保它正確地與主要搜尋引擎和爬蟲互動。它利用 tamethebots MCP(模型上下文協定)工具,針對涵蓋 Google、Bing、AI 爬蟲、SEO 工具及各類抓取工具的廣泛機器人列表進行測試。使用者可以快速識別潛在問題,例如封鎖了預期的爬蟲或意外允許了不良機器人。此技能對於維護 SEO 健康、保護內容免於不必要的抓取,以及管理網站存取策略至關重要。它專為 Claude 設計,但與 tamethebots MCP 生態系統相容,能與其他 MCP 工具流暢整合。

相容平台✓Claude Code~Codex CLI~Cursor
npx skills add tmnh83/robots-txt-checker

Installed? Explore more 研究與資料分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

robots-txt-檢查器 是做什麼的?

Claude 技能,用於透過 tamethebots MCP 即時檢查 robots.txt 對相關機器人(Google、Bing、AI 爬蟲、SEO 工具、抓取工具)的設定。

相關技能