Evaluar agentes de navegador en tareas web repetibles con Playwright y Bananalyzer
Ejecuta un conjunto de evaluaciones repetibles para agentes de navegador contra instantáneas estáticas de tareas web, en lugar de juzgarlos a partir de demos o pruebas aisladas.
Prerrequisitos
Entorno Python, runtime de navegador Playwright, ejecución de pruebas basada en pytest, una implementación personalizada de AgentRunner, ejemplos de instantáneas de tareas web
Instalación
Requisitos y advertencias del proyecto original:
- sitio web individual. Para que un agente generalice mejor, necesitamos construir un conjunto diverso de sitios web.
- En el futuro añadiremos métodos de evaluación más complejos y ejemplos que requieran múltiples pasos para completarse.
Notas de uso básico o primeros pasos:
-
Banana-lyzer es una herramienta CLI que ejecuta un conjunto de evaluaciones contra un conjunto de sitios web de ejemplo.
-
La herramienta CLI ejecutará secuencialmente los ejemplos contra un agente definido por el usuario, construyendo dinámicamente una suite de pruebas con pytest.
-
AgentRunner expone el ejemplo y un contexto de navegador Playwright para usar.
-
Extraído de la documentación original: https://raw.githubusercontent.com/reworkd/bananalyzer/HEAD/README.md