benchmark-models
运行标准化合规QRA测试,针对候选LLM评估准确性、延迟和成本,然后再部署到推理管道中。
用法
运行单个模型基准测试
./run.sh run --model deepseek-v3 --suite compliance-basic
针对指定模型(通过/scillm)运行20道金标准合规QRA问题。输出包含TEST_CASE、EXPECTED、ACTUAL、MATCH和LATENCY_MS列的结果表,以及汇总指标(准确率%、延迟_p50、延迟_p95、估计令牌成本)。
对比多个模型
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --suite compliance-basic
对每个模型运行基准测试,并输出并排对比表。
查看最新报告
./run.sh report
从~/.embry/benchmark_results.json读取最近的基准测试结果,并渲染摘要。
干运行(无LLM调用)
./run.sh run --model deepseek-v3 --suite compliance-basic --dry-run
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --dry-run
输出完整的基准测试框架,包含20个测试案例和模拟结果。不进行任何LLM调用。
测试套件
- compliance-basic: 20道金标准QRA问题,涵盖NIST 800-171、AS9100D、CMMC、ITAR、DFARS、DO-178C、MIL-STD以及跨项目合规漂移检测。
输出
结果保存到~/.embry/benchmark_results.json,并打印到标准输出。报告包含每个问题的准确率以及用于模型选择决策的汇总指标。