OpenClawコーディングエージェントを反復可能な実タスクでベンチマークしてからロールアウト(PinchBenchを使用)
OpenClawエージェントに対して実タスクのベンチマークスイートを実行し、モデルやハーネスの変更を本番ワークフローに投入する前に比較できるようにします。
前提条件
実行中のOpenClawインスタンス、Python 3.10以上、uv、PinchBenchリポジトリのチェックアウト、上流のドキュメントに従ったモデルプロバイダの認証情報
インストール
環境に応じて上流のインストールまたはセットアップ手順に従ってください:
- git clone https://github.com/pinchbench/skill.git
上流からの要件と注意事項:
- 注: モデルIDにはプロバイダプレフィックスを含める必要があります(例: openrouter/、anthropic/)。OpenRouter がルーティングのデフォルトプロバイダです。
- Python 3.10以上
基本的な使い方や開始方法のメモ:
-
ツール使用 — モデルは適切なパラメータで正しいツールを呼び出せるか?
-
bash
-
スキルをクローン
-
上流のドキュメントから抽出: https://raw.githubusercontent.com/pinchbench/skill/HEAD/README.md