tidewatch-fish/ai-eval-toolkit

Evaluador de Rúbricas Financieras

Evalúa respuestas usando reglas fijas de calidad financiera. No generes criterios temporalmente para cada pregunta ni proporciones nuevos consejos financieros durante la evaluación.

Ejecutar la Evaluación

1. Leer las Reglas y el Contrato de Datos

Lee primero:

• references/finance-rubric.json: condiciones de activación de dimensiones, condiciones de aprobación, condiciones de fallo y reglas de límite.
• references/data-schema.md: campos de entrada y salida y restricciones de datos.

2. Preparar las Tareas

Organiza el contenido proporcionado por el usuario en la estructura de assets/eval-case-template.json. Al evaluar una sola dimensión, especifica dimension_id:

python scripts/prepare_eval.py --input assets/sample-case.json

Para evaluar completamente una misma respuesta, genera tres tareas aisladas entre sí:

python scripts/prepare_eval.py --input assets/sample-case.json --all-dimensions

Las entradas por lotes pueden usar matrices JSON o JSONL. Cada registro sigue correspondiendo a una sola dimensión; al usar --all-dimensions, el script expande cada registro en tres tareas independientes.

3. Juzgar Cada Tarea de Forma Independiente

Ejecuta estrictamente en el siguiente orden:

1. Verifica todas las trigger_conditions de la dimensión actual; si alguna no se cumple, devuelve "No aplicable".
2. Lee solo las judgment_rule, pass_conditions, fail_conditions y boundary_rules de la dimensión actual.
3. Usa únicamente los materiales de referencia, la respuesta estándar, el contexto de la conversación y los requisitos de la tarea de la entrada para juzgar.
4. Cita evidencia directa de la respuesta a evaluar y genera un juicio estructurado.

Aísla siempre las dimensiones:

• La corrección del contenido expresado pertenece a la precisión;
• La omisión de información pertenece a la integridad;
• Si el contenido proporcionado es claro, comprensible y ejecutable pertenece a la utilidad;
• No repitas la misma razón para marcar error en múltiples dimensiones para la misma pregunta.

Salida:

{
  "case_id": "fin-001",
  "dimension_id": "accuracy",
  "result": "Error",
  "evidence": ["Texto original de la respuesta o localización precisa"],
  "reason": "Error: La conclusión central contradice el material de referencia."
}

Semántica de los resultados:

• Acierto: cumple con la dimensión actual;
• Error: viola la dimensión actual;
• No aplicable: la dimensión actual no es aplicable o la evidencia es insuficiente. "No aplicable" no es "Acierto"; debe excluirse al calcular la tasa de aprobación.

4. Validar y Resumir

Valida un solo juicio:

python scripts/score_result.py --input assets/sample-judgment.json

Las entradas por lotes pueden usar matrices JSON o JSONL. El script generará los totales y por dimensión de "Acierto", "Error" y "No aplicable", junto con la tasa de aplicabilidad y la tasa de aprobación. Si cada juicio incluye human_judgment.result, también calculará la tasa de concordancia humano-máquina, la tasa de recuperación de errores y la tasa de falsos positivos.

python scripts/score_result.py --input experiment/judgments.example.jsonl --summary-only

El script ya no asigna puntuaciones a los juicios. "No aplicable" siempre se mantiene como estado independiente y se excluye por separado en las estadísticas resumidas.

Límites del Ámbito Financiero

• Juzgar solo según los materiales de referencia, la respuesta estándar y el contexto proporcionados.
• Cuando falten materiales de verificación confiables para la precisión, devuelve "No aplicable"; no uses conocimiento externo para complementar.
• No asumas que todas las respuestas financieras requieren un descargo de responsabilidad; solo juzga según la dimensión correspondiente cuando los materiales de referencia o los requisitos de la tarea lo indiquen explícitamente.
• En la dimensión de precisión, las afirmaciones de ganancias, aprobaciones, indemnizaciones, plazos o garantías sin respaldo se evalúan directamente como fallo.
• No amplíes el alcance de la información necesaria para la pregunta del usuario debido a "alto riesgo financiero".

Reglas de Calibración

1. Usa experiment/regression-set.example.jsonl para establecer un conjunto de regresión mínimo.
2. Usa un conjunto de desarrollo para localizar errores de juicio y modifica references/finance-rubric.json.
3. Incrementa rubric_version y luego valida con un conjunto de reserva que no haya participado en la modificación.
4. Registra la versión, la tasa de recuperación y la tasa de falsos positivos según references/report-checklist.md.

No incluyas tasas de interés, comisiones, plazos o requisitos de un producto específico en la rúbrica general; coloca esos hechos en el reference_context de la muestra.

Recursos Complementarios

• assets/sample-case.json: muestra de depósito a plazo que se puede ejecutar directamente;
• assets/sample-judgment.json: ejemplo de juicio correspondiente;
• experiment/regression-set.example.jsonl: conjunto de regresión mínimo para límites financieros;
• experiment/judgments.example.jsonl: ejemplo de juicios por lotes y etiquetas humanas ejecutables directamente;
• references/report-checklist.md: lista de verificación de informes y versiones.