¿Qué hace crawl?
Rastrea cualquier sitio web y guarda las páginas como archivos markdown locales. Úsalo cuando necesites descargar documentación, bases de conocimiento o contenido web para acceso sin conexión o análisis. Sin necesidad de código: solo proporciona una URL.
Cómo funciona
- Proporciona la URL de inicio que deseas rastrear.
- La herramienta sigue los enlaces relevantes dentro del mismo dominio (puedes limitar la profundidad del rastreo).
- Extrae el contenido principal de cada página y lo convierte a Markdown limpio.
- Los archivos Markdown se guardan localmente en una estructura de carpetas que refleja la organización del sitio.
Requisitos
- Acceso a internet (para el rastreo inicial).
- Espacio en disco suficiente para los archivos generados.
Limitaciones
- No rastrea sitios que requieren inicio de sesión o autenticación.
- Puede no capturar contenido dinámico cargado vía JavaScript pesado.
- Respeta las directrices
robots.txtdel sitio web.
Uso
Simplemente llama a esta habilidad con la URL que deseas rastrear. Puedes especificar opciones como:
url: La URL inicial del sitio a rastrear.maxPages: Número máximo de páginas a descargar (opcional, por defecto 50).maxDepth: Profundidad máxima de enlaces a seguir (opcional, por defecto 3).
Ejemplo:
Usar habilidad tavily-ai/crawl con URL: https://docs.ejemplo.com
Esto descargará hasta 50 páginas del sitio docs.ejemplo.com como archivos Markdown en la carpeta ./crawl_output/.