Benchmark für Browser-Agenten mit wiederholbaren Playwright-Webaufgaben und Bananalyzer
Führen Sie eine wiederholbare Evaluationssuite für Browser-Agenten gegen statische Webaufgaben-Schnappschüsse aus, anstatt sie anhand von Demos oder einmaligen Tests zu beurteilen.
Voraussetzungen
Python-Umgebung, Playwright-Browserlaufzeit, pytest-basierte Testausführung, eine benutzerdefinierte AgentRunner-Implementierung, Beispiel-Webaufgaben-Schnappschüsse
Installation
Anforderungen und Einschränkungen von oben:
- einzelne Website. Damit ein Agent gut generalisieren kann, ist es erforderlich, einen vielfältigen Datensatz von Websites zu erstellen.
- In Zukunft werden wir komplexere Evaluierungsmethoden und Beispiele unterstützen, die mehrere Schritte zur Fertigstellung erfordern.
Grundlegende Nutzungs- oder Einstiegshinweise:
-
Banana-lyzer ist ein CLI-Tool, das eine Reihe von Evaluierungen gegen eine Reihe von Beispielwebsites ausführt.
-
Das CLI-Tool führt sequentiell Beispiele gegen einen benutzerdefinierten Agenten aus, indem es dynamisch eine pytest-Testsuite erstellt.
-
AgentRunner stellt das Beispiel und einen Playwright-Browserkontext zur Verfügung.
-
Aus den Upstream-Dokumenten extrahiert: https://raw.githubusercontent.com/reworkd/bananalyzer/HEAD/README.md