평가자 타당성 감사은(는) 무엇을 하나요?
범위
평가 결함으로 인해 잘못된 답변이 올바르게 보이거나 정당한 대안이 실패할 수 있는 결정론적 또는 모델 기반 평가자에 사용합니다.
절차
- 측정할 구성 개념의 이름을 지정합니다: 답변 정확성, 증거 근거, 필수 도구 동작, 권한 경계, 대상 범위 등. 이러한 차원을 분리하세요.
- 각 작업을 참조 솔루션, 입력 가정, 평가자 로직, 허용된 대체 동작, 명시적 실패 코드에 매핑합니다.
- 긍정 통제(진정으로 올바른 경우), 부정 통제(잘못된 값, 누락된 증거, 위조된 도구 결과, 허용되지 않은 동작) 및 유효한 대안(동등한 SQL, 증거 경로 또는 추론 성향)을 테스트합니다.
- 관찰 필드가 실제 런타임 증거에서 도출되었는지 확인하고, 모델이 작성한 레이블이나 신뢰할 수 없는 결과 메타데이터가 아닌지 확인합니다.
- 개발 에이전트에 유출되지 않은 채로 통제를 실행합니다. 보류된 인스턴스를 노출하지 마십시오. 반례와 원본 증거를 보존합니다.
- 결함을 허위 수락, 허위 거부, 모호한 작업 계약, 또는 지원되지 않지만 유효한 대안으로 분류합니다. 채점자 결함과 모델 또는 런타임 오류를 구분합니다.
- 예상되는 행동 변화와 함께 버전 관리된 변경 사항을 제안합니다. 확인 결과를 확인한 후 채점자(query)를 조용히 조정하지 마십시오.
- 명시된 타당성 게이트를 통과한 경우에만 평가를 확정하거나, 해결되지 않은 한계를 명시적으로 보고하고 주장을 보류합니다.
출력
참조, 적대적 및 대안적인 경우, 예상 vs 관찰된 이유 코드, 그리고 해결되지 않은 결함을 보여주는 감사된 사례 매트릭스.
중단 조건
성공 측정을 실질적으로 변경하는 해결되지 않은 결함에 대해 확인 해석을 일시 중지합니다. 중요한 반례가 누락된 경우 테스트 통과만으로는 타당성이 확립되지 않습니다.