現実的なSRE、CISO、FinOpsシナリオでIT自動化エージェントをベンチマークするITBench は何をしますか?
本番運用で自動化エージェントを信頼する前に、現実的なエンタープライズ向けITシナリオを実行します。
前提条件
Python環境、ベンチマーク依存関係、サポート対象のシナリオ環境へのアクセス、またはセルフホスト型セットアップツール、対象エージェントの実装
インストール
基本的な使用方法や開始にあたっての注意点:
-
ITBenchリーダーボードは、SRE、FinOps、CISOシナリオにおけるエージェントのパフォーマンスを追跡します。管理されたシナリオ環境を提供する一方、研究者や開発者は自身のシステム上でエージェントを実行し、結果を提出します。
-
ITBenchの開始方法や質問がある場合は、以下を参照してください。
-
上流ドキュメントから抽出:https://raw.githubusercontent.com/itbench-hub/ITBench/HEAD/README.md