AI 릴리스 평가은(는) 무엇을 하나요?
RAGOps를 결정론적 평가자로 사용합니다. 그 결과를 시스템이 보편적으로 올바르거나 안전하다는 증거가 아니라 릴리스 증거로 취급합니다.
워크플로우
- 시나리오, 후보 응답 또는 추적, 허용된 기준, 정책 임계값을 식별합니다. 누락된 픽스처를 임의로 만들지 마십시오.
- RAGOps 명령을 선택하거나 종료 코드를 해석할 때
references/commands.md를 읽습니다. - 평가를 실행하기 전에 입력에서 비밀 또는 개인 데이터를 검사합니다. 사용자가 공유를 승인하지 않는 한 생성된 보고서는 비공개로 유지합니다.
- 이 스킬 디렉터리에서
python3 scripts/run_ragops.py ...를 통해 가장 좁은 범위의 명령을 실행합니다. - 종료 코드
0을 PASS로, 종료 코드2를 실행 실패가 아닌 평가된 BLOCK으로 해석합니다. 다른 비영 코드는 운영 오류로 처리합니다. - 결정, 실패한 게이트, 중요한 메트릭 델타, 출처 제한 사항, 그리고 가장 작은 다음 조치를 보고합니다.
안전장치
- 통과를 얻기 위해 임계값을 약화시키거나, 허용된 기준을 대체하거나, 실패 사례를 생략하지 마십시오.
- 어휘 또는 인용 검사만 실행되었을 때 의미론적 정확성을 주장하지 마십시오.
- 사용자가 명시적으로 공급자 구성을 제공하고 승인하지 않는 한 공급자 기반 평가를 실행하지 마십시오.
- 이 스킬의 출력만을 기반으로 게시, 병합, 태그 또는 배포하지 마십시오.
- 다른 검토자가 결과를 재현할 수 있도록 최종 증거에 입력 아티팩트와 명령 매개변수를 보존합니다.
출력
다음과 함께 간결한 릴리스 권장 사항을 반환합니다: decision, evidence, failed_gates, limitations, next_action.