Benchmarker les agents navigateurs sur des tâches Web Playwright reproductibles avec Bananalyzer
Exécutez une suite d'évaluation reproductible pour les agents navigateurs sur des instantanés de tâches Web statiques, au lieu de les juger à partir de démos ou de tests ponctuels.
Prérequis
Environnement Python, runtime navigateur Playwright, exécution de tests basée sur pytest, une implémentation personnalisée d'AgentRunner, des instantanés de tâches Web d'exemple
Installation
Exigences et mises en garde de la source amont :
- site Web individuel. Pour qu'un agent généralise au mieux, nous exigeons la constitution d'un ensemble diversifié de sites Web.
- À l'avenir, nous prendrons en charge des méthodes d'évaluation plus complexes et des exemples nécessitant plusieurs étapes pour être accomplis. Les
Notes sur l'utilisation de base ou la prise en main :
-
Banana-lyzer est un outil CLI qui exécute un ensemble d'évaluations sur un ensemble de sites Web d'exemple.
-
L'outil CLI exécute séquentiellement les exemples sur un agent défini par l'utilisateur en construisant dynamiquement une suite de tests pytest.
-
AgentRunner expose l'exemple ainsi qu'un contexte navigateur Playwright à utiliser.
-
Extrait de la documentation amont : https://raw.githubusercontent.com/reworkd/bananalyzer/HEAD/README.md