¿Qué hace benchmark-models?
Ejecuta pruebas QRA de cumplimiento estandarizadas contra LLMs candidatos para evaluar precisión, latencia y costo antes de implementar en el pipeline de inferencia.
Uso
Ejecutar un benchmark de un solo modelo
./run.sh run --model deepseek-v3 --suite compliance-basic
Ejecuta 20 preguntas QRA de cumplimiento del conjunto de referencia contra el modelo especificado a través de /scillm. Genera una tabla de resultados con las columnas TEST_CASE, EXPECTED, ACTUAL, MATCH y LATENCY_MS, además de métricas resumidas (accuracy%, latency_p50, latency_p95, estimated_token_cost).
Comparar múltiples modelos
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --suite compliance-basic
Ejecuta el benchmark para cada modelo y genera una tabla comparativa lado a lado.
Ver el último informe
./run.sh report
Lee los resultados del benchmark más reciente desde ~/.embry/benchmark_results.json y muestra un resumen.
Ejecución en seco (sin llamadas a LLM)
./run.sh run --model deepseek-v3 --suite compliance-basic --dry-run
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --dry-run
Genera el andamiaje completo del benchmark con 20 casos de prueba y resultados simulados. No se realizan llamadas a LLM.
Suites
- compliance-basic: 20 preguntas QRA del conjunto de referencia que cubren NIST 800-171, AS9100D, CMMC, ITAR, DFARS, DO-178C, MIL-STD y detección de deriva de cumplimiento entre programas.
Salida
Los resultados se guardan en ~/.embry/benchmark_results.json y se muestran en la salida estándar. El informe incluye precisión por pregunta y métricas agregadas para la selección de modelos.