Evaluar sistemas de memoria y RAG con MemoryBench

¿Qué hace Evaluar sistemas de memoria y RAG con MemoryBench?

Utiliza MemoryBench para realizar evaluaciones repetibles de memoria conversacional y RAG en diferentes proveedores, conjuntos de datos, modelos jueces, puntos de control e informes estructurados.

Prerrequisitos

Bun, repositorio de MemoryBench, al menos una clave API de un proveedor de memoria/RAG, al menos una clave API de un modelo juez, conjuntos de datos de benchmark

Instalación

Notas de uso básico o de inicio:

• 🆚 Comparación multi‑proveedor: ejecuta el mismo benchmark en varios proveedores uno al lado del otro

• 📊 Informes estructurados: exporta el estado de la ejecución, fallos y métricas para análisis

• bun install

• Fuente: https://github.com/supermemoryai/memorybench

• Extraído de la documentación original: https://raw.githubusercontent.com/supermemoryai/memorybench/HEAD/README.md

Documentación

• https://supermemory.ai/docs/memorybench/overview

Fuente

• Agent Skill Exchange