O que benchmark-models faz?
Execute testes padronizados de QRA de conformidade contra LLMs candidatos para avaliar precisão, latência e custo antes de implantar no pipeline de inferência.
Uso
Executar um benchmark de modelo único
./run.sh run --model deepseek-v3 --suite compliance-basic
Executa 20 perguntas de ouro de QRA de conformidade contra o modelo especificado via /scillm. Gera uma tabela de resultados com as colunas TEST_CASE, EXPECTED, ACTUAL, MATCH e LATENCY_MS, além de métricas resumidas (accuracy%, latency_p50, latency_p95, estimated_token_cost).
Comparar múltiplos modelos
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --suite compliance-basic
Executa o benchmark para cada modelo e gera uma tabela de comparação lado a lado.
Visualizar último relatório
./run.sh report
Lê os resultados de benchmark mais recentes de ~/.embry/benchmark_results.json e exibe um resumo.
Execução simulada (sem chamadas LLM)
./run.sh run --model deepseek-v3 --suite compliance-basic --dry-run
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --dry-run
Gera o esqueleto completo do benchmark com 20 casos de teste e resultados simulados. Nenhuma chamada LLM é feita.
Suites
- compliance-basic: 20 perguntas de ouro de QRA cobrindo NIST 800-171, AS9100D, CMMC, ITAR, DFARS, DO-178C, MIL-STD e detecção de desvios de conformidade entre programas.
Saída
Os resultados são salvos em ~/.embry/benchmark_results.json e exibidos no terminal. O relatório inclui acurácia por pergunta e métricas agregadas para decisões de seleção de modelo.