Communitygithub.com

Pranjay-kumar/universal-data-acquisition-pipeline-skill

Codex/Claudeスキル:堅牢なスクレイピング、API、Playwright、および認可付きデータ取得パイプラインを設計するためのスキル

universal-data-acquisition-pipeline-skill とは?

このスキルは、CodexやClaudeのようなAIエージェント向けに、堅牢で拡張可能なデータ取得パイプラインを設計・実装するための専門知識を提供します。スクレイピング、RESTful API統合、Playwrightを用いたブラウザ自動化、および認証が必要なデータソースからのデータ収集をカバーします。開発者は、このスキルを活用して、Webスクレイピングのベストプラクティス(リクエストレート制限、エラーハンドリング、データ抽出ルール)、APIクライアントの設計(OAuth2、APIキー管理、ページネーション処理)、Playwrightを使った動的ページ操作とスクリーンショット取得、また認可付きデータアクセス(トークン管理、セッション維持、リトライロジック)を効率的に実装できます。このスキルは、データエンジニアリング、データサイエンス、自動化プロジェクトにおいて、信頼性の高いデータパイプラインを構築するためのガイドラインとコードパターンを提供し、CodexやClaudeの会話コンテキスト内で迅速に適用可能です。

対応✓Claude Code✓Codex CLI~Cursor
npx skills add Pranjay-kumar/universal-data-acquisition-pipeline-skill

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

universal-data-acquisition-pipeline-skill は何をしますか?

Codex/Claudeスキル:堅牢なスクレイピング、API、Playwright、および認可付きデータ取得パイプラインを設計するためのスキル

概要

このスキルは、AIエージェント(Codex、Claudeなど)が効率的かつ信頼性の高いデータ取得パイプラインを構築するための知識とコードパターンを提供します。次の4つの主要な領域をカバーします:

  1. スクレイピング – 静的Webページからのデータ抽出
  2. API統合 – RESTful APIからのデータ取得
  3. Playwright – 動的コンテンツやブラウザ操作が必要なデータ取得
  4. 認可付きデータアクセス – OAuth2、APIキー、トークン管理を含む認証が必要なデータソース

使い方

このスキルは、CodexまたはClaudeの会話内で自然言語の指示として使用します。例えば:

「このAPIからデータを取得するパイプラインを設計して。認証にはOAuth2を使用し、レート制限に対応してほしい。」

AIエージェントは、スキルに含まれるパターンに基づいて、コードスニペット、アーキテクチャ図、または完全な実装を生成します。

サポートされるプラットフォーム

  • Codex (OpenAI Codex, GitHub Copilot)
  • Claude (Anthropic Claude)
  • その他のAIコーディングアシスタント

ライセンス

このスキルはMITライセンスの下で公開されています。詳細はLICENSEファイルを参照してください。

関連スキル