Benchmarker la mémoire des agents et les systèmes RAG avec MemoryBench
Utilisez MemoryBench pour exécuter des benchmarks répétables de mémoire conversationnelle et de RAG à travers différents fournisseurs, jeux de données, modèles de juges, points de contrôle et rapports structurés.
Prérequis
Bun, dépôt MemoryBench, au moins une clé API d'un fournisseur de mémoire/RAG, au moins une clé API d'un modèle de juge, jeux de données de benchmark
Installation
Notes d'utilisation de base ou de démarrage :
-
🆚 Comparaison multi‑fournisseur : exécuter le même benchmark côte à côte sur plusieurs fournisseurs
-
📊 Rapports structurés : exporter l'état d'exécution, les échecs et les métriques pour analyse
-
bun install
-
Extrait de la documentation officielle : https://raw.githubusercontent.com/supermemoryai/memorybench/HEAD/README.md