Auditoria de Validade do Avaliador
Escopo
Use em avaliadores determinísticos ou assistidos por modelo onde defeitos de avaliação podem fazer respostas incorretas parecerem corretas ou alternativas legítimas falharem.
Procedimento
- Nomeie o construto sendo medido: corretude de resposta, fundamentação em evidências, ação de ferramenta necessária, limite de autoridade, escopo populacional, etc. Separe essas dimensões.
- Mapeie cada tarefa para soluções de referência, suposições de entrada, lógica do avaliador, comportamentos alternativos aceitos e códigos de falha explícitos.
- Teste controles positivos (genuinamente corretos), controles negativos (valores errados, evidências ausentes, resultados de ferramentas falsificados, ações não permitidas) e alternativas válidas (SQL equivalente, caminhos de evidência ou disposições de raciocínio).
- Verifique se os campos de observação são derivados de evidências reais de tempo de execução, e não de rótulos escritos pelo modelo ou metadados de resultados não confiáveis.
- Execute controles sem expor instâncias retidas ao agente de desenvolvimento. Preserve contraexemplos e suas evidências originais.
- Classifique os defeitos como falsa aceitação, falsa rejeição, contrato de tarefa ambíguo ou alternativa válida mas não suportada. Distinga defeitos do avaliador de falhas do modelo ou de tempo de execução.
- Proponha mudanças versionadas com deltas comportamentais esperados; não ajuste silenciosamente o avaliador após ver resultados confirmatórios.
- Congele apenas quando a porta de validade declarada for aprovada, ou relate explicitamente as limitações pendentes e retire alegações.
Saída
Uma matriz de casos auditados mostrando casos de referência, adversariais e alternativos, códigos de razão esperados vs. observados e defeitos não resolvidos.
Condições de parada
Pause a interpretação confirmatória para defeitos não resolvidos que alterem materialmente a taxa de sucesso medida. Testes passando sozinhos não estabelecem validade se contraexemplos importantes estiverem faltando.