使用 Bananalyzer 在可重复的 Playwright Web 任务上基准测试浏览器代理 是做什么的?
运行一套可重复的评估套件,针对静态 Web 任务快照来测试浏览器代理,而不是根据演示或一次性测试进行判断。
前提条件
Python 环境,Playwright 浏览器运行时,基于 pytest 的测试执行,自定义 AgentRunner 实现,示例 Web 任务快照
安装
来自上游的要求和注意事项:
- 单独的网站。为了让代理更好地泛化,我们需要构建跨多个网站的多样化数据集。
- 未来我们将支持更复杂的评估方法和需要多步完成的示例。
基本使用或入门说明:
-
Banana-lyzer 是一个 CLI 工具,针对一组示例网站运行一组评估。
-
CLI 工具将通过动态构建 pytest 测试套件,顺序对用户定义的代理运行示例。
-
AgentRunner 向用户暴露示例以及一个 Playwright 浏览器上下文以供使用。
-
提取自上游文档:https://raw.githubusercontent.com/reworkd/bananalyzer/HEAD/README.md