Que fait scrapling-official ?
Scrapez des pages web avec Scrapling : contournement anti-bot (Cloudflare Turnstile), navigation furtive sans tête, framework de spiders, scraping adaptatif et rendu JavaScript. Utilisez-le lorsqu'on vous demande de scraper, crawler ou extraire des données de sites web ; lorsque web_fetch échoue ; que le site a des protections anti-bot ; écrire du code Python pour scraper/crawler ; ou écrire des spiders.
Comment utiliser cette compétence
- Demandez à l'agent : "Scrape ce site", "Extrais les données de cette page", "Crawle ce domaine" ou "Écris un spider pour ce site".
- L'agent écrira et exécutera automatiquement du code Python utilisant Scrapling.
- Scrapling s'occupe des capacités anti-bot comme la résolution de Turnstile, la rotation de User-Agent, les empreintes digitales de navigateur et le rendu JavaScript.
Caractéristiques principales
- Contournement anti-bot : gère Cloudflare Turnstile, les challenges JS, la détection de navigateur headless.
- Navigation furtive sans tête : navigue comme un vrai navigateur sans être détecté.
- Framework de spiders : pour crawler des sites entiers avec des règles de liens.
- Scraping adaptatif : ajuste automatiquement les paramètres de requête (délais, en-têtes, etc.).
- Rendu JavaScript : exécute le JS des pages pour extraire du contenu dynamique.
Exemple d'utilisation
import scrapling
from scrapling import Fetcher
# Créer un fetcher avec contournement anti-bot
fetcher = Fetcher(safe=True, stealth=True)
# Récupérer une page
page = fetcher.get('https://example.com')
# Extraire des données
links = page.css('a').all()
titles = page.xpath('//h1').all()
Notes importantes
- Les chemins de fichiers, noms de variables d'environnement (
SCRAPLING_API_KEY), et URLs dans le code doivent rester en anglais. - Scrapling est installé dans l'environnement de l'agent.
- Pour les sites avec des protections très fortes, l'agent peut configurer automatiquement des délais entre les requêtes ou une rotation de proxy.
Dépannage
| Problème | Solution |
|---|---|
| Erreur 403 ou challenge Turnstile | Utiliser le mode stealth=True et safe=True |
| Page lente à charger | Réduire les délais avec delay=0 |
| Contenu dynamique manquant | Activer le rendu JS avec render_js=True |
Pour plus d'informations, consultez la documentation officielle de Scrapling.