Que fait firecrawl-crawl ?
Extrayez en masse le contenu d'un site Web entier ou d'une section de site. Utilisez cette compétence lorsque l'utilisateur souhaite explorer un site, extraire toutes les pages d'une section de documentation, effectuer un scraping en masse de plusieurs pages en suivant des liens, ou dit « crawl », « obtenir toutes les pages », « extraire tout ce qui se trouve sous /docs », « extraction en masse », ou a besoin de contenu provenant de nombreuses pages sur le même site. Gère les limites de profondeur, le filtrage par chemin et l'extraction concurrente.