評估者效度審計
範圍
用於確定性或模型輔助的評分器，當評分缺陷可能使不正確的答案看起來正確，或使合法的替代方案失敗時。
程序
- 命名被衡量的構念：答案正確性、證據基礎、所需的工具動作、權限邊界、人口範圍等。將這些維度分開。
- 將每個任務對應到參考解答、輸入假設、評分器邏輯、可接受的替代行為以及明確的失敗代碼。
- 測試正向控制（真正正確的）、負向控制（錯誤的值、遺失的證據、偽造的工具結果、不允許的動作）以及有效的替代方案（等效的 SQL、證據路徑或推理傾向）。
- 驗證觀察欄位是從實際運行時證據推導出來的，而非模型生成的標籤或不可信的結果元數據。
- 在不將保留實例暴露給開發代理的情況下運行控制。保留反例及其原始證據。
- 將缺陷分類為錯誤接受、錯誤拒絕、模糊的任務合約或不支援但有效的替代方案。區分評分器缺陷與模型或運行時故障。
- 提出版本化更改並附上預期的行為差異；不要在看到確認性結果後默默地調整評分器。
- 僅在聲明的效度門檻通過時凍結，或明確報告未解決的限制並保留主張。
輸出
一份審計案例矩陣，顯示參考案例、對抗案例和替代案例，預期與觀察到的原因代碼，以及未解決的缺陷。
停止條件
對於未解決的、會實質改變衡量成功的缺陷，暫停確認性解釋。如果重要的反例缺失，僅通過測試並不能建立效度。