金融ルーブリック評価器

固定された金融品質ルールを使用して回答を評価します。問題ごとにその場でクライテリアを生成したり、評価中に新しい金融アドバイスを提供したりしないでください。

評価の実行

まず以下を読み込んでください。

ユーザーが提供した内容を assets/eval-case-template.json の構造に整理します。1つの次元のみを評価する場合は、dimension_id を指定します。

python scripts/prepare_eval.py --input assets/sample-case.json

同じ回答を完全に評価する場合は、3つの互いに独立したタスクを生成します。

python scripts/prepare_eval.py --input assets/sample-case.json --all-dimensions

バッチ入力にはJSON配列またはJSONLを使用できます。各レコードは依然として1つの次元のみに対応します。--all-dimensions を使用する場合、スクリプトは各レコードに対して3つの独立したタスクを展開します。

以下の順序に厳密に従って実行してください。

現在の次元のすべての trigger_conditions を確認し、1つでも満たさない場合は「該当なし」を返します。
現在の次元の judgment_rule、pass_conditions、fail_conditions、boundary_rules のみを読み取ります。
入力内の参照資料、正解、会話コンテキスト、タスク要件のみを使用して判定します。
評価対象の回答からの直接的な証拠を引用し、構造化された判定を出力します。

常に次元を分離してください。

出力：

{
  "case_id": "fin-001",
  "dimension_id": "accuracy",
  "result": "誤",
  "evidence": ["回答中の原文または正確な位置"],
  "reason": "誤：核心的な結論が参照資料と反対である。"
}

結果の意味：

単一の判定を検証します。

python scripts/score_result.py --input assets/sample-judgment.json

バッチ入力にはJSON配列またはJSONLを使用できます。スクリプトは全体および次元ごとの「正」「誤」「該当なし」の数、適用率、合格率を出力します。各判定に human_judgment.result が付随している場合、人機一致率、誤りサンプルの再現率、誤検出率も計算されます。

python scripts/score_result.py --input experiment/judgments.example.jsonl --summary-only

スクリプトは判定をスコアにマッピングしなくなりました。「該当なし」は常に独立したステータスとして保持され、集計統計からは別途除外されます。

特定の商品の金利、手数料、期間、資格を汎用ルーブリックに記述しないでください。これらの事実はサンプルの reference_context に配置します。