scrapegraphai/just-scrape

¿Qué hace just-scrape?

Busca, extrae, rastrea, obtén datos estructurados y monitorea páginas web mediante la CLI de ScrapeGraph AI. Úsalo cuando el usuario solicite buscar en la web, extraer contenido de una URL, extraer JSON de un sitio, rastrear documentación o secciones de un sitio, monitorear cambios en una página, inspeccionar el historial de solicitudes, verificar créditos de ScrapeGraph o validar la configuración de la API.

Requisitos

• Tener una clave de API de ScrapeGraph configurada como la variable de entorno SCRAPEGRAPH_API_KEY.
• La CLI de ScrapeGraph debe estar instalada y disponible en el PATH.

Comandos disponibles

Comando	Descripción
sgai search <consulta>	Realiza una búsqueda web y devuelve resultados.
sgai scrape <url>	Extrae el contenido de una página web dada.
sgai crawl <url>	Rastrea un sitio web o una sección específica.
sgai extract	Extrae datos estructurados (JSON) de un sitio.
sgai monitor <url>	Monitorea cambios en una página web. Soporta opciones como --interval <segundos> y --similarity-threshold <porcentaje>.
sgai history	Muestra el historial de solicitudes realizadas.
sgai credits	Muestra los créditos disponibles en tu cuenta.
sgai validate	Valida la configuración de la API.

Ejemplos de uso

Buscar en la web

sgai search "últimas noticias de inteligencia artificial 2024"

Extraer contenido de una URL

sgai scrape https://ejemplo.com

Extraer datos estructurados como JSON

sgai extract --url https://ejemplo.com/productos --schema '{"nombre": "", "precio": ""}'

Rastrear documentación

sgai crawl https://docs.ejemplo.com --max-pages 10

Monitorear cambios en una página

sgai monitor https://ejemplo.com/precios --interval 3600 --similarity-threshold 0.8

Verificar créditos

sgai credits

Validar configuración

sgai validate

Notas adicionales

• La clave de API se debe configurar como variable de entorno SCRAPEGRAPH_API_KEY antes de usar cualquier comando.
• Para monitoreo, el --interval se especifica en segundos (por defecto 3600) y --similarity-threshold es un valor entre 0 y 1 (por defeto 0.9).
• Todos los comandos devuelven resultados en formato legible por humanos, excepto extract que devuelve JSON.
• Para más detalles, consulta la documentación oficial de ScrapeGraph AI.