évaluer-une-version-IA

Évaluer une version IA

Utilisez RAGOps comme un évaluateur déterministe. Considérez son résultat comme une preuve de release, non comme une preuve que le système est universellement correct ou sûr.

Workflow

1. Identifiez le scénario, les réponses ou traces candidates, la référence acceptée et les seuils de politique. N'inventez pas de pièces manquantes.
2. Lisez references/commands.md lors du choix de la commande RAGOps ou de l'interprétation des codes de sortie.
3. Inspectez les entrées pour détecter des secrets ou des données personnelles avant d'exécuter une évaluation. Maintenez les rapports générés privés, sauf si l'utilisateur approuve leur partage.
4. Exécutez la commande la plus restreinte applicable via python3 scripts/run_ragops.py ... depuis le répertoire de cette compétence.
5. Interprétez le code de sortie 0 comme PASS et le code de sortie 2 comme un BLOCK évalué, et non comme un échec d'exécution. Traitez les autres codes non nuls comme des erreurs opérationnelles.
6. Rapportez la décision, les portes échouées, les écarts de métriques matérielles, les limitations de provenance et la plus petite action suivante.

Garde-fous

• N'affaiblissez pas les seuils, ne remplacez pas la référence acceptée et n'omettez pas les cas en échec pour obtenir un succès.
• Ne prétendez pas à l'exactitude sémantique lorsque seules des vérifications lexicales ou de citation ont été effectuées.
• N'exécutez pas d'évaluation basée sur un fournisseur sauf si l'utilisateur fournit et autorise explicitement la configuration du fournisseur.
• Ne publiez pas, ne fusionnez pas, ne taguez pas et ne déployez pas uniquement sur la base de la sortie de cette compétence.
• Préservez les artefacts d'entrée et les paramètres de commande dans la preuve finale afin qu'un autre réviseur puisse reproduire le résultat.

Sortie

Retournez une recommandation de release concise avec : decision, evidence, failed_gates, limitations et next_action.