Browser-use Benchmarkを使ったブラウザエージェントの固定ステルス&タスクスイートによるベンチマーク
ブラウザエージェントの信頼性を、反復可能なタスクとアンチボットスイートで比較し、スタック選定や進捗主張の前に評価します。
前提条件
Python、uv、ベンチマークリポジトリの依存関係、ジャッジモデルと選択したブラウザプロバイダに必要なAPIキー、対象のブラウザエージェント設定
インストール
環境に合わせてアップストリームのインストール手順またはセットアップパスを使用してください:
- pip install uv
- uv sync
- uv run python run_eval.py --browser <プロバイダ>
アップストリームからの要件と注意点:
- python -c "
基本的な使い方や入門用のメモ:
-
2. .envを設定する(.env.exampleを参照)
-
cp .env.example .env
-
4. 評価を実行する
-
アップストリームのドキュメントから抽出:https://raw.githubusercontent.com/browser-use/benchmark/HEAD/README.md