benchmark-models은(는) 무엇을 하나요?
후보 LLM에 대해 표준화된 컴플라이언스 QRA 테스트를 실행하여 정확도, 지연 시간, 비용을 평가합니다. 추론 파이프라인에 배포하기 전에 모델 성능을 측정합니다.
사용법
단일 모델 벤치마크 실행
./run.sh run --model deepseek-v3 --suite compliance-basic
지정된 모델에 대해 /scillm을 통해 20개의 골드셋 컴플라이언스 QRA 질문을 실행합니다. TEST_CASE, EXPECTED, ACTUAL, MATCH, LATENCY_MS 열이 포함된 결과 테이블과 요약 메트릭(accuracy%, latency_p50, latency_p95, estimated_token_cost)을 출력합니다.
여러 모델 비교
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --suite compliance-basic
각 모델에 대해 벤치마크를 실행하고 나란히 비교하는 테이블을 출력합니다.
마지막 보고서 보기
./run.sh report
가장 최근 벤치마크 결과를 ~/.embry/benchmark_results.json에서 읽어와 요약을 렌더링합니다.
드라이 런 (LLM 호출 없음)
./run.sh run --model deepseek-v3 --suite compliance-basic --dry-run
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --dry-run
전체 벤치마크 스캐폴드와 20개 테스트 케이스 및 모의 결과를 출력합니다. LLM 호출은 이루어지지 않습니다.
스위트
- compliance-basic: NIST 800-171, AS9100D, CMMC, ITAR, DFARS, DO-178C, MIL-STD 및 교차 프로그램 컴플라이언스 드리프트 탐지를 다루는 20개의 골드셋 QRA 질문입니다.
출력
결과는 ~/.embry/benchmark_results.json에 저장되고 표준 출력(stdout)으로 출력됩니다. 보고서에는 질문별 정확도와 모델 선택 결정을 위한 종합 메트릭이 포함됩니다.