Que fait benchmark-models ?
Exécutez des tests QRA de conformité standardisés contre des LLMs candidats pour évaluer la précision, la latence et le coût avant de les déployer dans la pipeline d'inférence.
Utilisation
Exécuter un benchmark avec un seul modèle
./run.sh run --model deepseek-v3 --suite compliance-basic
Exécute 20 questions QRA de conformité validées contre le modèle spécifié via /scillm. Génère un tableau de résultats avec les colonnes TEST_CASE, EXPECTED, ACTUAL, MATCH et LATENCY_MS, ainsi que des métriques récapitulatives (accuracy%, latency_p50, latency_p95, estimated_token_cost).
Comparer plusieurs modèles
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --suite compliance-basic
Exécute le benchmark pour chaque modèle et affiche un tableau de comparaison côte à côte.
Afficher le dernier rapport
./run.sh report
Lit les résultats du benchmark les plus récents depuis ~/.embry/benchmark_results.json et affiche un résumé.
Exécution à blanc (sans appels LLM)
./run.sh run --model deepseek-v3 --suite compliance-basic --dry-run
./run.sh compare --models "deepseek-v3,llama-3.1-70b" --dry-run
Affiche l'ensemble de la structure du benchmark avec 20 cas de test et des résultats simulés. Aucun appel LLM n'est effectué.
Suites
- compliance-basic : 20 questions QRA validées couvrant NIST 800-171, AS9100D, CMMC, ITAR, DFARS, DO-178C, MIL-STD et la détection de dérive de conformité inter-programmes.
Résultats
Les résultats sont sauvegardés dans ~/.embry/benchmark_results.json et affichés dans la sortie standard. Le rapport inclut la précision par question et des métriques agrégées pour faciliter les décisions de sélection de modèle.