tidewatch-fish/ai-eval-toolkit

Avaliador de Rubrica Financeira

Avalia respostas usando regras fixas de qualidade financeira. Não gere critérios temporários para cada questão e nem forneça novos conselhos financeiros durante a avaliação.

Executar Avaliação

1. Ler Regras e Contrato de Dados

Leia primeiro:

• references/finance-rubric.json: condições de acionamento de dimensão, condições de aprovação, condições de reprovação e regras de limite.
• references/data-schema.md: campos de entrada e saída e restrições de dados.

2. Preparar Tarefas

Organize o conteúdo fornecido pelo usuário na estrutura de assets/eval-case-template.json. Ao avaliar apenas uma dimensão, especifique dimension_id:

python scripts/prepare_eval.py --input assets/sample-case.json

Para avaliar completamente uma mesma resposta, gere três tarefas isoladas:

python scripts/prepare_eval.py --input assets/sample-case.json --all-dimensions

Entradas em lote podem usar um array JSON ou JSONL. Cada registro ainda corresponde a uma única dimensão; ao usar --all-dimensions, o script expande cada registro em três tarefas independentes.

3. Julgar Cada Tarefa de Forma Independente

Siga estritamente a ordem abaixo:

1. Verifique todas as trigger_conditions da dimensão atual; se alguma não for atendida, retorne "não aplicável".
2. Leia apenas o judgment_rule, pass_conditions, fail_conditions e boundary_rules da dimensão atual.
3. Use apenas o material de referência, resposta padrão, contexto de diálogo e requisitos da tarefa fornecidos na entrada para julgar.
4. Cite evidências diretas da resposta em avaliação e produza um julgamento estruturado.

Sempre isole as dimensões:

• A correção do conteúdo expresso pertence à precisão;
• A omissão de informações pertence à completude;
• Se o conteúdo fornecido é claro, compreensível e acionável pertence à utilidade;
• Não repita a mesma razão para reprovar em várias dimensões para a mesma questão.

Saída:

{
  "case_id": "fin-001",
  "dimension_id": "accuracy",
  "result": "erro",
  "evidence": ["texto original ou localização precisa na resposta"],
  "reason": "Erro: a conclusão central é contrária ao material de referência."
}

Semântica dos resultados:

• correto: atende à dimensão atual;
• erro: viola a dimensão atual;
• não aplicável: a dimensão atual não se aplica ou as evidências são insuficientes. "Não aplicável" não é "correto"; deve ser excluído ao calcular a taxa de aprovação.

4. Validar e Resumir

Validar um julgamento único:

python scripts/score_result.py --input assets/sample-judgment.json

Entradas em lote podem usar um array JSON ou JSONL. O script gera contagens gerais e por dimensão de "correto", "erro" e "não aplicável", taxa de aplicabilidade e taxa de aprovação. Se cada julgamento vier acompanhado de human_judgment.result, também calcula a taxa de concordância humano-máquina, recall de amostras de erro e taxa de falsos positivos.

python scripts/score_result.py --input experiment/judgments.example.jsonl --summary-only

O script não mapeia mais os julgamentos para pontuações. "Não aplicável" é sempre mantido como um estado independente e excluído separadamente na sumarização.

Limites do Domínio Financeiro

• Julgue apenas com base no material de referência, resposta padrão e contexto fornecidos.
• Se faltarem materiais confiáveis para verificar a precisão, retorne "não aplicável"; não compense com conhecimento externo.
• Não presuma que todas as respostas financeiras precisam de avisos de isenção de responsabilidade; julgue de acordo com a dimensão correspondente somente quando o material de referência ou os requisitos da tarefa explicitamente exigirem.
• Na dimensão de precisão, garantias não fundamentadas de rendimento, aprovação, indenização, prazo ou ausência de risco devem ser reprovadas diretamente.
• Não amplie o escopo de informações necessárias da pergunta do usuário simplesmente porque "o risco financeiro é alto".

Regras de Calibração

1. Use experiment/regression-set.example.jsonl para estabelecer um conjunto de regressão mínimo.
2. Use um conjunto de desenvolvimento para identificar julgamentos incorretos e modifique references/finance-rubric.json.
3. Incremente rubric_version e valide com um conjunto de retenção não usado nas modificações.
4. Registre a versão, recall e taxa de falsos positivos de acordo com references/report-checklist.md.

Não escreva taxas de juros, taxas, prazos ou requisitos de elegibilidade de um produto específico na Rubrica geral; coloque esses fatos no reference_context da amostra.

Recursos Acompanhantes

• assets/sample-case.json: amostra de depósito a prazo pronta para execução;
• assets/sample-judgment.json: exemplo de julgamento correspondente;
• experiment/regression-set.example.jsonl: conjunto de regressão mínimo de limites financeiros;
• experiment/judgments.example.jsonl: exemplo de julgamentos em lote e rótulos humanos prontos para execução;
• references/report-checklist.md: lista de verificação de relatório e rastreabilidade de versão.