Ein KI-Release evaluieren
Verwende RAGOps als deterministischen Evaluator. Behandle das Ergebnis als Release-Evidenz, nicht als Nachweis für allgemeine Korrektheit oder Sicherheit des Systems.
Arbeitsablauf
- Identifiziere das Szenario, die Kandidatenantworten oder -traces, die akzeptierte Baseline und die Richtlinien-Schwellwerte. Erfinde keine fehlenden Fixtures.
- Lese
references/commands.md, wenn du den RAGOps-Befehl auswählen oder Exit-Codes interpretieren musst. - Überprüfe die Eingaben auf Geheimnisse oder personenbezogene Daten, bevor du eine Evaluation ausführst. Halte generierte Berichte privat, es sei denn, der Benutzer stimmt der Weitergabe zu.
- Führe den engsten anwendbaren Befehl aus diesem Skill-Verzeichnis mit
python3 scripts/run_ragops.py ...aus. - Interpretiere Exit-Code
0als PASS und Exit-Code2als bewerteten BLOCK, nicht als Ausführungsfehler. Alle anderen von Null verschiedenen Codes sind betriebliche Fehler. - Gib die Entscheidung, die gescheiterten Gates, wesentliche Metrik-Abweichungen, Einschränkungen der Herkunft und die kleinste nächste Aktion aus.
Leitplanken
- Schwäche keine Schwellwerte, ersetze nicht die akzeptierte Baseline und lasse keine fehlschlagenden Fälle weg, um einen Bestehens-Status zu erzielen.
- Behaupete keine semantische Korrektheit, wenn nur lexikalische oder Zitationsprüfungen durchgeführt wurden.
- Führe keine providergestützte Evaluation durch, es sei denn, der Benutzer liefert und autorisiert ausdrücklich die Provider-Konfiguration.
- Veröffentliche, merge, tagge oder deploye nicht allein auf Basis der Ausgabe dieses Skills.
- Bewahre die Eingabeartefakte und Befehlsparameter in der endgültigen Evidenz auf, damit ein anderer Prüfer das Ergebnis reproduzieren kann.
Ausgabe
Gib eine präzise Release-Empfehlung zurück mit: decision, evidence, failed_gates, limitations und next_action.