jamditis/web-scraping

Web scraping avec contournement anti-bot, extraction de contenu, APIs non documentées et détection de pièges. À utiliser pour extraire du contenu de sites web, gérer les paywalls, implémenter des cascades de scraping ou traiter des médias sociaux. Couvre les motifs requests, trafilatura, Playwright avec mode furtif, yt-dlp et instaloader.

Qu'est-ce que web-scraping ?

Ce skill est conçu pour les développeurs et agents IA qui ont besoin d'extraire des données de sites web de manière robuste, en contournant les mécanismes anti-bot et en gérant des situations complexes comme les paywalls et les APIs non documentées. Il prend en charge plusieurs bibliothèques et outils : requests pour les requêtes HTTP simples, trafilatura pour l'extraction propre de contenu textuel, Playwright avec mode furtif (stealth) pour simuler un navigateur humain, yt-dlp pour le téléchargement de vidéos (YouTube, etc.), et instaloader pour le scraping d'Instagram. Le skill inclut également une fonctionnalité de détection de 'poison pills' (contenu piégé ou modifié) pour éviter de collecter des données fausses ou trompeuses. Il est utile pour construire des cascades de scraping (passer d'une méthode à une autre en cas d'échec) et pour automatiser la collecte de données à partir de médias sociaux et de sites à forte protection.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/jamditis/claude-skills-journalism/tree/main/skills/web-scraping

Installed? Explore more Recherche et analyse de données skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait web-scraping ?

Web scraping avec contournement anti-bot, extraction de contenu, APIs non documentées et détection de pièges. À utiliser pour extraire du contenu de sites web, gérer les paywalls, implémenter des cascades de scraping ou traiter des médias sociaux. Couvre les motifs requests, trafilatura, Playwright avec mode furtif, yt-dlp et instaloader.

Individual skills in this repo

This repo contains 2 individual skills — each has its own dedicated page.

Skills associés