benchmark-models は何をしますか？
候補LLMに対して標準化されたコンプライアンスQRAテストを実行し、推論パイプラインにデプロイする前に精度、レイテンシ、コストを評価します。
使用法
単一モデルのベンチマークを実行
./run.sh run --model deepseek-v3 --suite compliance-basic
指定されたモデルに対して、/scillm を介して20の金色基準コンプライアンスQRA質問を実行します。TEST_CASE、EXPECTED、ACTUAL、MATCH、LATENCY_MSの各列と、精度%、レイテンシ中央値(p50)、レイテンシ95パーセンタイル(p95)、推定トークンコストの集計メトリクスを含む結果表を出力します。
複数モデルの比較
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --suite compliance-basic
各モデルに対してベンチマークを実行し、比較表を横並びで出力します。
最後のレポートを表示
./run.sh report
~/.embry/benchmark_results.json から最新のベンチマーク結果を読み取り、サマリーを表示します。
ドライラン（LLM呼び出しなし）
./run.sh run --model deepseek-v3 --suite compliance-basic --dry-run
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --dry-run
20のテストケースと模擬結果を含む完全なベンチマーク骨格を出力します。LLM呼び出しは行われません。
スイート
- compliance-basic: NIST 800-171、AS9100D、CMMC、ITAR、DFARS、DO-178C、MIL-STD、およびクロスプログラムコンプライアンスドリフト検出をカバーする20の金色基準QRA質問。
出力
結果は ~/.embry/benchmark_results.json に保存され、標準出力にも表示されます。レポートには質問ごとの精度と、モデル選択の判断に使用する集計メトリクスが含まれます。