MemoryBenchでエージェントのメモリとRAGシステムをベンチマーク は何をしますか?
MemoryBenchを使用して、プロバイダー、データセット、評価モデル、チェックポイント、構造化レポートにわたって、再現可能な会話メモリとRAGのベンチマークを実行します。
前提条件
Bun、MemoryBenchリポジトリ、少なくとも1つのメモリ/RAGプロバイダーAPIキー、少なくとも1つの評価モデルAPIキー、ベンチマークデータセット
インストール
基本的な使い方やスタートガイドのメモ:
-
🆚 マルチプロバイダー比較: 同じベンチマークをプロバイダー間で横並びに実行
-
📊 構造化レポート: 実行ステータス、失敗、メトリクスを分析用にエクスポート
-
bun install
-
元のドキュメントから抽出: https://raw.githubusercontent.com/supermemoryai/memorybench/HEAD/README.md