Bananalyzerを使ったブラウザエージェントのベンチマーク は何をしますか?
バラバラのデモや一度きりのテストではなく、静的なWebタスクスナップショットに対してブラウザエージェントを繰り返し評価できる評価スイートを実行します。
前提条件
Python環境、Playwrightブラウザランタイム、pytestベースのテスト実行、カスタムAgentRunnerの実装、Webタスクスナップショットの例
インストール
上流からの要件と注意事項:
- 個別のWebサイト。エージェントがうまく汎化するためには、様々なWebサイトから構成される多様なデータセットの構築が必要です。
- 将来的には、複数ステップを必要とするより複雑な評価方法や例もサポートする予定です。
基本的な使い方や開始方法:
-
Banana-lyzer は、一連のサンプルWebサイトに対して評価を実行するCLIツールです。
-
CLIツールは、ユーザー定義のエージェントに対して、pytestテストスイートを動的に構築しながらサンプルを順次実行します。
-
AgentRunner は、サンプルとPlaywrightブラウザコンテキストを公開します。
-
上流ドキュメントから抽出: https://raw.githubusercontent.com/reworkd/bananalyzer/HEAD/README.md