¿Qué hace firecrawl-crawl?
Extrae contenido en masa de un sitio web completo o de una sección del sitio. Usa esta habilidad cuando el usuario quiera rastrear un sitio, extraer todas las páginas de una sección de documentación, raspar en masa varias páginas siguiendo enlaces, o diga "rastrear", "obtén todas las páginas", "extrae todo lo que esté bajo /docs", "extracción en masa", o necesite contenido de muchas páginas en el mismo sitio. Maneja límites de profundidad, filtrado de rutas y extracción concurrente.