Community研究&データ分析github.com

shirenchuang/web-content-fetcher

任意URLの記事コンテンツをクリーンなMarkdownとして抽出します。Scraplingスクリプトを主要方式(自動で高速→ステルスフォールバック)とし、シンプルなページにはJina Readerを代替として使用。見出し、リンク、画像、リスト、コードブロックを保存します。

web-content-fetcher とは?

このスキルは、開発者やAIエージェントが任意のWebページから記事本文をクリーンなMarkdown形式で抽出することを可能にします。ブログ記事、ニュース記事、微信(WeChat)公式アカウント記事、ドキュメントページなど、さまざまなWebページに対応しています。主要な抽出方法はScraplingスクリプトであり、自動で高速モードからステルスモードにフォールバックするため、動的なコンテンツやアクセス制限のあるページにも柔軟に対応できます。シンプルなページにはJina Readerも代替手段として用意されており、安定した抽出が可能です。抽出結果は見出し、リンク、画像、リスト、コードブロックなどの構造を保持するため、そのままAIエージェントのコンテキストとして利用したり、要約や分析に活用できます。このスキルはClaude Code、Cursor、CodexなどのAIエージェントで動作し、ユーザーが「この記事を読んで」「このページをスクレイピングして」などの指示を出したときに自動的にトリガーされるように設計されています。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shirenchuang/web-content-fetcher/tree/main/skills/web-content-fetcher

Installed? Explore more 研究&データ分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

web-content-fetcher は何をしますか?

任意のURLから記事コンテンツをクリーンなMarkdownとして抽出します。Scraplingスクリプトを主要方式(自動で高速→ステルスフォールバック)とし、シンプルなページにはJina Readerを代替として使用。見出し、リンク、画像、リスト、コードブロックを保存します。ユーザーがURLのコンテンツを取得、読み込み、抽出、スクレイピング、または要約したいとき — ブログ記事、ニュース記事、微信(WeChat)公式アカウント記事、ドキュメントページ、その他任意のWebページ — にこのスキルを使用してください。また、ユーザーが「帮我读一下这篇文章」、「抓取这个网页」、「提取正文」、または「read this page for me」などと言ったときにもトリガーしてください。

関連スキル