benchmark-models 是做什麼的?
在部署至推論管線前,針對候選LLM執行標準化合規QRA測試,以評估準確度、延遲與成本。
使用方式
執行單一模型基準測試
./run.sh run --model deepseek-v3 --suite compliance-basic
對指定模型(透過 /scillm)執行 20 道黃金題庫合規 QRA 問題。輸出結果表格包含 TEST_CASE、EXPECTED、ACTUAL、MATCH 與 LATENCY_MS 欄位,以及摘要指標(accuracy%、latency_p50、latency_p95、estimated_token_cost)。
比較多個模型
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --suite compliance-basic
對每個模型執行基準測試,並輸出並排比較表格。
檢視上次報告
./run.sh report
讀取最近一次基準測試結果(來自 ~/.embry/benchmark_results.json)並呈現摘要。
乾執行(不呼叫LLM)
./run.sh run --model deepseek-v3 --suite compliance-basic --dry-run
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --dry-run
輸出完整的基準測試框架(包含 20 個測試案例與 mock 結果),不實際呼叫任何 LLM。
測試套件
- compliance-basic:20 道黃金題庫 QRA 問題,涵蓋 NIST 800-171、AS9100D、CMMC、ITAR、DFARS、DO-178C、MIL-STD 及跨計畫合規漂移檢測。
輸出
結果會儲存至 ~/.embry/benchmark_results.json 並輸出至終端機 stdout。報告包含每題的準確度與整體摘要指標,輔助模型選擇決策。