Finanz-Rubrik-Bewerter

Was macht Finanz-Rubrik-Bewerter?

Bewertung von Antworten unter Verwendung fester Finanzqualitätsregeln. Generieren Sie kein temporäres Kriterium für jede Aufgabe und geben Sie während des Bewertungsprozesses keine neuen Finanzempfehlungen.

Durchführung der Bewertung

1. Regeln und Datenvertrag lesen

Lesen Sie zuerst:

• references/finance-rubric.json: Auslösebedingungen, Bestehensbedingungen, Nichtbestehensbedingungen und Grenzregeln für jede Dimension.
• references/data-schema.md: Eingabe-/Ausgabefelder und Datenbeschränkungen.

2. Aufgabe vorbereiten

Strukturieren Sie den vom Benutzer bereitgestellten Inhalt gemäß assets/eval-case-template.json. Geben Sie beim Bewerten nur einer Dimension die dimension_id an:

python scripts/prepare_eval.py --input assets/sample-case.json

Für eine vollständige Bewertung derselben Antwort generieren Sie drei voneinander isolierte Aufgaben:

python scripts/prepare_eval.py --input assets/sample-case.json --all-dimensions

Bei Batch-Eingabe können Sie ein JSON-Array oder eine JSONL-Datei verwenden. Jeder Datensatz entspricht immer noch nur einer Dimension; bei Verwendung von --all-dimensions erweitert das Skript jeden Datensatz in drei unabhängige Aufgaben.

3. Jede Aufgabe unabhängig beurteilen

Führen Sie streng in der folgenden Reihenfolge aus:

1. Prüfen Sie alle trigger_conditions der aktuellen Dimension; wenn eine nicht erfüllt ist, geben Sie „Nicht anwendbar“ zurück.
2. Lesen Sie nur die judgment_rule, pass_conditions, fail_conditions und boundary_rules der aktuellen Dimension.
3. Verwenden Sie nur das Referenzmaterial, die Musterantwort, den Gesprächskontext und die Aufgabenanforderungen aus der Eingabe, um zu beurteilen.
4. Zitieren Sie direkte Beweise aus der zu bewertenden Antwort und geben Sie eine strukturierte Beurteilung aus.

Isolieren Sie Dimensionen stets:

• Richtig oder falsch des bereits ausgedrückten Inhalts fällt unter Genauigkeit;
• Fehlen von Informationen fällt unter Vollständigkeit;
• Ob der bereitgestellte Inhalt klar, verständlich und umsetzbar ist, fällt unter Verständlichkeit;
• Dieselbe Frage sollte nicht in mehreren Dimensionen mit demselben Grund wiederholt negativ bewertet werden.

Ausgabe:

{
  "case_id": "fin-001",
  "dimension_id": "accuracy",
  "result": "Falsch",
  "evidence": ["Originaltext aus der Antwort oder genaue Positionsangabe"],
  "reason": "Falsch: Kernaussage widerspricht dem Referenzmaterial."
}

Bedeutung der Ergebnisse:

• Richtig: Erfüllt die aktuelle Dimension;
• Falsch: Verstößt gegen die aktuelle Dimension;
• Nicht anwendbar: Die aktuelle Dimension ist nicht anwendbar oder es liegen nicht genügend Beweise vor. „Nicht anwendbar“ ist nicht gleich „Richtig“; muss bei der Berechnung der Bestehensquote ausgeschlossen werden.

4. Validieren und zusammenfassen

Einzelne Beurteilung validieren:

python scripts/score_result.py --input assets/sample-judgment.json

Bei Batch-Eingabe können Sie ein JSON-Array oder eine JSONL-Datei verwenden. Das Skript gibt die Gesamt- und dimensionsspezifischen Anzahlen von „Richtig“, „Falsch“ und „Nicht anwendbar“ sowie die Anwendbarkeitsquote und Bestehensquote aus. Wenn jede Beurteilung ein human_judgment.result enthält, berechnet es auch die Übereinstimmungsrate zwischen Mensch und Maschine, die Rückrufquote der Fehlerfälle und die Falsch-Positiv-Quote.

python scripts/score_result.py --input experiment/judgments.example.jsonl --summary-only

Das Skript bildet Beurteilungen nicht mehr auf Punkte ab. „Nicht anwendbar“ bleibt immer als eigenständiger Status erhalten und wird in der Zusammenfassung separat ausgeschlossen.

Finanzielle Grenzen

• Beurteilen Sie nur auf Grundlage des angegebenen Referenzmaterials, der Musterantwort und des Kontexts.
• Geben Sie bei Genauigkeit „Nicht anwendbar“ zurück, wenn kein zuverlässiges Überprüfungsmaterial vorhanden ist; verwenden Sie kein externes Allgemeinwissen, um nachzuhelfen.
• Gehen Sie nicht davon aus, dass jede Finanzantwort einen Haftungsausschluss benötigt; nur wenn das Referenzmaterial oder die Aufgabenanforderungen dies ausdrücklich verlangen, beurteilen Sie nach der entsprechenden Dimension.
• In der Dimension Genauigkeit bewerten Sie garantierte Renditen, Genehmigungen, Auszahlungen, Fristen oder risikolose Garantien ohne Nachweis direkt als nicht bestanden.
• Erweitern Sie nicht den Umfang der benötigten Informationen für die Benutzerfrage aufgrund eines „hohen finanziellen Risikos“.

Kalibrierungsregeln

1. Erstellen Sie einen minimalen Regressionssatz mit experiment/regression-set.example.jsonl.
2. Verwenden Sie den Entwicklungssatz, um Fehlurteile zu identifizieren und references/finance-rubric.json zu ändern.
3. Erhöhen Sie die rubric_version und validieren Sie mit einem unveränderten Validierungssatz.
4. Dokumentieren Sie Version, Rückrufquote und Falsch-Positiv-Quote gemäß references/report-checklist.md.

Schreiben Sie keine Zinssätze, Gebühren, Laufzeiten oder Berechtigungen eines bestimmten Produkts in die allgemeine Rubrik; legen Sie diese Fakten in den reference_context des Beispiels.

Zugehörige Ressourcen

• assets/sample-case.json: Ein sofort ausführbares Beispiel für ein Festgeldkonto;
• assets/sample-judgment.json: Entsprechendes Beurteilungsbeispiel;
• experiment/regression-set.example.jsonl: Minimaler Regressionssatz für finanzielle Grenzen;
• experiment/judgments.example.jsonl: Beispiel für sofort ausführbare Batch-Beurteilungen mit menschlichen Labels;
• references/report-checklist.md: Berichtsformat und Versionsrückverfolgungsliste.