评估器有效性审计
范围
用于确定性或模型辅助的评估器，在这些评估器中，评分缺陷可能导致错误答案看似正确，或合法替代方案被判定为失败。
步骤
- 命名被测量的构念：答案正确性、证据依据、所需的工具操作、权限边界、群体范围等。将这些维度分开。
- 将每个任务映射到参考解决方案、输入假设、评估器逻辑、可接受的替代行为以及明确的失败代码。
- 测试阳性对照（真正正确的）、阴性对照（错误的值、缺失的证据、伪造的工具结果、不允许的操作）以及有效的替代方案（等价的 SQL、证据路径或推理倾向）。
- 验证观察字段源自实际的运行时证据，而非模型生成的标签或不可信的结果元数据。
- 运行对照时，不向开发代理暴露保留的实例。保留反例及其原始证据。
- 将缺陷分类为误接受、误拒绝、模糊任务契约或未受支持但有效的替代方案。将评分器缺陷与模型或运行时故障区分开。
- 提出带有预期行为变化的版本化更改；不要在观察到确认性结果后静默调整评分器。
- 只有在声明有效性门控通过时才进行冻结，或者明确报告未解决的局限性并保留声明。
输出
一份审计案例矩阵，其中显示参考案例、对抗案例和替代案例，预期与实际观察到的原因代码，以及未关闭的缺陷。
停止条件
在未解决的缺陷可能实质上改变测量的成功指标时，暂停确认性解释。如果重要的反例缺失，仅通过测试不足以建立有效性。