고급 평가

고급 평가은(는) 무엇을 하나요?

이 스킬은 LLM을 심사자로 사용하여 LLM 출력을 평가하는 프로덕션 등급의 기술을 다룹니다. 학계 연구, 업계 관행 및 실제 구현 경험을 종합하여 신뢰할 수 있는 평가 시스템 구축을 위한 실행 가능한 패턴을 제공합니다.

핵심 통찰력: LLM-as-a-Judge는 단일 기술이 아니라 각각 다른 평가 맥락에 적합한 접근 방식들의 집합입니다. 적절한 접근 방식을 선택하고 알려진 편향을 완화하는 것이 이 스킬이 개발하는 핵심 역량입니다.

활성화 시점

다음과 같은 경우 이 스킬을 활성화하십시오:

• LLM 출력에 대한 LLM-as-judge 시스템 구축
• 여러 모델 응답을 비교하여 최상의 응답 선택
• 평가 팀 전체의 일관된 품질 표준 수립
• 일관되지 않은 결과를 보이는 평가 시스템 디버깅
• 프롬프트 또는 모델 변경을 위한 A/B 테스트 설계
• LLM 또는 인간/LLM 하이브리드 심사자를 위한 특정 루브릭 생성
• 자동화된 평가와 인간 평가 간의 상관관계 분석

다른 스킬이 담당하는 인접 작업에는 이 스킬을 활성화하지 마십시오:

• 일반적인 결정론적 검사, 회귀 테스트 스위트, 프로덕션 품질 게이트 또는 결과 메트릭: evaluation.
• 자율 루프 거버넌스, 고정 루브릭, 롤백 또는 PR 승인 경계: harness-engineering.
• 평가 도구를 위한 도구 API 계약: tool-design.

핵심 개념

평가 분류 체계

정답(Ground truth)의 존재 여부에 따라 두 가지 주요 접근 방식 중에서 선택하십시오:

직접 채점 — 객관적인 기준(사실적 정확성, 지시 사항 준수, 유해성)이 존재할 때 사용합니다. 단일 LLM이 정의된 척도에 따라 하나의 응답을 평가합니다. 잘 정의된 기준에 대해 중간~높은 신뢰도를 달성합니다. 점수 보정 드리프트 및 일관되지 않은 척도 해석에 주의하십시오.

쌍 비교 — 주관적인 선호도(어조, 스타일, 설득력)에 사용합니다. LLM이 두 응답을 비교하여 더 나은 응답을 선택합니다. 쌍 비교 방법은 주관적인 작업(claim-advanced-evaluation-position-swap)의 경우 개방형 직접 채점보다 인간의 선호도와 더 잘 일치하는 경우가 많습니다. 위치 편향 및 길이 편향에 주의하십시오.

편향 환경

모든 평가 시스템에서 다음과 같은 체계적인 편향을 완화하십시오:

위치 편향: 첫 번째 위치의 응답이 우선적으로 처리됩니다. 위치를 바꿔 두 번 평가한 다음 다수결 투표 또는 일관성 검사를 적용하여 완화하십시오.

길이 편향: 품질과 관계없이 더 긴 응답이 더 높은 점수를 받습니다. 길이를 무시하도록 명시적으로 프롬프팅하고 길이 정규화 점수를 적용하여 완화하십시오.

자기 강화 편향: 모델이 자신의 출력을 더 높게 평가합니다. 생성과 평가에 서로 다른 모델을 사용하여 완화하십시오.

장황함 편향: 불필요한 경우에도 과도한 세부 정보가 더 높은 점수를 받습니다. 관련 없는 세부 정보에 불이익을 주는 기준별 루브릭으로 완화하십시오.

권위 편향: 정확성과 관계없이 자신감 있는 어조가 더 높은 점수를 받습니다. 증거 인용을 요구하고 사실 확인 계층을 추가하여 완화하십시오.

메트릭 선택 프레임워크

메트릭을 평가 작업 구조에 일치시키십시오:

작업 유형	기본 메트릭	보조 메트릭
이진 분류(통과/실패)	재현율, 정밀도, F1	Cohen's kappa
순서형 척도(1-5 등급)	Spearman's rho, Kendall's tau	Cohen's kappa(가중치)
쌍 선호도	일치율, 위치 일관성	신뢰도 보정
다중 레이블	Macro-F1, Micro-F1	레이블별 정밀도/재현율

절대적 일치율보다 체계적인 불일치 패턴을 우선시하십시오. 특정 기준에 대해 인간과 일관되게 의견이 다른 심사자는 무작위 노이즈가 있는 심사자보다 더 문제가 많기 때문입니다.

평가 접근 방식

직접 채점 구현

세 가지 구성 요소로 직접 채점을 구축하십시오: 명확한 기준, 보정된 척도, 구조화된 출력 형식.

기준 정의 패턴:

Criterion: [이름]
Description: [이 기준이 측정하는 것]
Weight: [상대적 중요도, 0-1]

척도 보정 — 루브릭 세부 사항에 따라 척도 세분성을 선택하십시오:

• 1-3: 중립 옵션이 있는 이진, 가장 낮은 인지 부하
• 1-5: 표준 Likert, 세분성과 신뢰성의 최상의 균형
• 1-10: 보정이 더 어렵기 때문에 상세한 수준별 루브릭이 있는 경우에만 사용하십시오.

직접 채점을 위한 프롬프트 구조:

You are an expert evaluator assessing response quality.

## Task
Evaluate the following response against each criterion.

## Original Prompt
{prompt}

## Response to Evaluate
{response}

## Criteria
{for each criterion: name, description, weight}

## Instructions
For each criterion:
1. Find specific evidence in the response
2. Score according to the rubric (1-{max} scale)
3. Justify your score with evidence
4. Suggest one specific improvement

## Output Format
Respond with structured JSON containing scores, justifications, and summary.

심사자가 점수를 내기 전에 증거를 먼저 요구하도록 채점 프롬프트를 구성하십시오. 그래야 심사자가 점수를 부여하기 전에 관찰 가능한 출력 특징에 판단을 근거할 수 있습니다.

쌍 비교 구현

모든 쌍 평가에 위치 편향 완화를 적용하십시오:

1. 먼저 결정론적 사전 검사를 실행하십시오. 두 후보 모두 동일한 스키마, 출처-증거 요구 사항 및 범위 제약 조건을 충족해야 합니다.
2. 첫 번째 심사 패스: 응답 A를 첫 번째 위치, 응답 B를 두 번째 위치에 배치합니다.
3. 두 번째 심사 패스: 응답 B를 첫 번째 위치, 응답 A를 두 번째 위치에 배치합니다.
4. 일관성 검사: 패스가 일치하지 않으면 신뢰도를 낮추고 TIE를 반환합니다.
5. 최종 평결: 평균 신뢰도와 명시적 동점 해소 근거와 함께 일관된 승자입니다.

쌍 비교를 위한 프롬프트 구조:

You are an expert evaluator comparing two AI responses.

## Critical Instructions
- Do NOT prefer responses because they are longer
- Do NOT prefer responses based on position (first vs second)
- Focus ONLY on quality according to the specified criteria
- Ties are acceptable when responses are genuinely equivalent

## Original Prompt
{prompt}

## Response A
{response_a}

## Response B
{response_b}

## Comparison Criteria
{criteria list}

## Instructions
1. Analyze each response independently first
2. Compare them on each criterion
3. Determine overall winner with confidence level

## Output Format
JSON with per-criterion comparison, overall winner, confidence (0-1), and reasoning.

신뢰도 보정 — 신뢰도를 위치 일관성에 매핑하십시오:

• 두 패스가 모두 일치: 신뢰도 = 개별 신뢰도의 평균
• 패스가 일치하지 않음: 신뢰도 = 0.5, 평결 = TIE

루브릭 생성

개방형 채점에 비해 평가 변동성을 줄이기 위해 루브릭을 생성하십시오. 목표 평가 세트에서 측정되지 않는 한 정확한 변동성 감소는 워크로드별로 다릅니다.

다음 루브릭 구성 요소를 포함하십시오:

1. 수준 설명: 각 점수 수준에 대한 명확한 경계
2. 특징: 각 수준을 정의하는 관찰 가능한 특징
3. 예시: 각 수준을 나타내는 대표 텍스트(선택 사항이지만 유용)
4. 에지 케이스: 모호한 상황에 대한 지침
5. 채점 지침: 일관된 적용을 위한 일반 원칙

사용 사례에 대한 엄격성 보정을 설정하십시오:

• 관대함: 낮은 통과 기준, 반복 장려에 적합
• 균형: 일반적인 프로덕션 기대치
• 엄격함: 안전이 중요하거나 영향이 큰 평가를 위한 높은 기준

도메인별 용어를 사용하여 루브릭을 도메인에 적용하십시오. 코드 가독성 루브릭은 변수, 함수 및 주석을 언급합니다. 의학적 정확성 루브릭은 임상 용어 및 증거 표준을 참조합니다.

실용적인 지침

평가 파이프라인 설계

다음 계층으로 프로덕션 평가 시스템을 구축하십시오: 기준 로더(루브릭 + 가중치) -> 기본 채점기(직접 또는 쌍) -> 편향 완화(위치 교체 등) -> 신뢰도 점수(보정) -> 출력(점수 + 정당성 + 신뢰도). 전체 시각적 레이아웃은 평가 파이프라인 다이어그램을 참조하십시오.

결정 프레임워크: 직접 vs. 쌍 비교

다음 결정 트리를 적용하십시오:

객관적인 정답이 있습니까?
+-- 예 -> 직접 채점
|   예시: 사실적 정확성, 지시 사항 준수, 형식 준수
|
+-- 아니오 -> 선호도 또는 품질 판단입니까?
    +-- 예 -> 쌍 비교
    |   예시: 어조, 스타일, 설득력, 창의성
    |
    +-- 아니오 -> 참조 기반 평가 고려
        예시: 요약(출처와 비교), 번역(참조와 비교)

평가 확장

대량 평가를 위해 다음 전략 중 하나를 적용하십시오:

1. LLM 패널(PoLL): 여러 모델을 심사자로 사용하고 투표를 집계하여 개별 모델 편향을 줄입니다. 더 비싸지만 영향이 큰 결정에 더 신뢰할 수 있습니다.

2. 계층적 평가: 선별에는 빠르고 저렴한 모델을, 에지 케이스에는 비싼 모델을 사용합니다. 선별 임계값 보정이 필요합니다.

3. 인간-루프 포함: 명확한 경우를 자동화하고 신뢰도가 낮은 결정을 인간 검토에 회송합니다. 시간이 지남에 따라 자동화된 평가를 개선하기 위해 피드백 루프를 설계합니다.

예시

예시 1: 정확성에 대한 직접 채점

입력:

Prompt: "지구에 계절이 생기는 원인은 무엇입니까?"
Response: "계절은 지구 축의 기울기 때문에 발생합니다. 지구가 태양 주위를 공전함에 따라
다른 반구는 일년 중 다른 시기에 더 직접적인 햇빛을 받습니다."
Criterion: 사실적 정확성(가중치: 1.0)
Scale: 1-5

출력:

{
  "criterion": "Factual Accuracy",
  "score": 5,
  "evidence": [
    "Correctly identifies axial tilt as primary cause",
    "Correctly explains differential sunlight by hemisphere",
    "No factual errors present"
  ],
  "justification": "Response accurately explains the cause of seasons with correct
scientific reasoning. Both the axial tilt and its effect on sunlight distribution
are correctly described.",
  "improvement": "Could add the specific tilt angle (23.5 degrees) for completeness."
}

예시 2: 위치 교체를 사용한 쌍 비교

입력:

Prompt: "초보자에게 머신러닝 설명하기"
Response A: [전문 용어가 포함된 기술적 설명]
Response B: [간단한 비유 기반 설명]
Criteria: ["명확성", "접근성"]

첫 번째 패스(A 우선):

{ "winner": "B", "confidence": 0.8 }

두 번째 패스(B 우선):

{ "winner": "A", "confidence": 0.6 }

(참고: B가 첫 번째 위치에 있었기 때문에 승자는 A입니다)

매핑된 두 번째 패스:

{ "winner": "B", "confidence": 0.6 }

최종 결과:

{
  "winner": "B",
  "confidence": 0.7,
  "positionConsistency": {
    "consistent": true,
    "firstPassWinner": "B",
    "secondPassWinner": "B"
  }
}

예시 3: 루브릭 생성

입력:

criterionName: "코드 가독성"
criterionDescription: "코드를 이해하고 유지 관리하기 쉬운 정도"
domain: "소프트웨어 엔지니어링"
scale: "1-5"
strictness: "균형"

출력(요약):

{
  "levels": [
    {
      "score": 1,
      "label": "Poor",
      "description": "Code is difficult to understand without significant effort",
      "characteristics": [
        "No meaningful variable or function names",
        "No comments or documentation",
        "Deeply nested or convoluted logic"
      ]
    },
    {
      "score": 3,
      "label": "Adequate",
      "description": "Code is understandable with some effort",
      "characteristics": [
        "Most variables have meaningful names",
        "Basic comments present for complex sections",
        "Logic is followable but could be cleaner"
      ]
    },
    {
      "score": 5,
      "label": "Excellent",
      "description": "Code is immediately clear and maintainable",
      "characteristics": [
        "All names are descriptive and consistent",
        "Comprehensive documentation",
        "Clean, modular structure"
      ]
    }
  ],
  "edgeCases": [
    {
      "situation": "Code is well-structured but uses domain-specific abbreviations",
      "guidance": "Score based on readability for domain experts, not general audience"
    }
  ]
}

지침

1. 항상 점수보다 증거를 먼저 요구하십시오 - 증거 우선 프롬프트는 판단을 감사하기 쉽게 만들고 근거 없는 숫자 채점을 줄입니다.

2. 쌍 비교에서는 항상 위치를 교체하십시오 - 단일 패스 비교는 위치 편향으로 인해 손상됩니다.

3. 척도 세분성을 루브릭 특수성과 일치시키십시오 - 상세한 수준 설명 없이 1-10 척도를 사용하지 마십시오.

4. 객관적 기준과 주관적 기준을 분리하십시오 - 객관적 기준에는 직접 채점을, 주관적 기준에는 쌍 비교를 사용하십시오.

5. 신뢰도 점수를 포함하십시오 - 위치 일관성과 증거 강도에 맞게 보정하십시오.

6. 에지 케이스를 명시적으로 정의하십시오 - 모호한 상황은 가장 큰 평가 변동성을 유발합니다.

7. 도메인별 루브릭을 사용하십시오 - 일반 루브릭은 일반적인(덜 유용한) 평가를 생성합니다.

8. 인간 판단에 대해 검증하십시오 - 자동화된 평가는 인간 평가와 상관 관계가 있을 때만 가치가 있습니다.

9. 체계적인 편향을 모니터링하십시오 - 기준, 응답 유형, 모델별 불일치 패턴을 추적하십시오.

10. 반복을 위해 설계하십시오 - 평가 시스템은 피드백 루프를 통해 개선됩니다.

주의 사항

1. 정당성 없는 채점: 점수는 근거가 부족하고 디버그하기 어렵습니다. 항상 점수 전에 증거 기반 정당성을 요구하십시오.

2. 단일 패스 쌍 비교: 위치를 교체하지 않으면 위치 편향이 결과를 손상시킵니다. 항상 위치를 바꿔 두 번 평가하고 일관성을 확인하십시오.

3. 과부하된 기준: 한 번에 여러 가지를 측정하는 기준은 신뢰할 수 없는 점수를 생성합니다. 하나의 기준 = 하나의 측정 가능한 측면을 적용하십시오.

4. 에지 케이스 지침 누락: 평가자는 명시적인 지침 없이 모호한 경우를 일관성 없이 처리합니다. 명확한 해결 규칙과 함께 루브릭에 에지 케이스를 포함하십시오.

5. 신뢰도 보정 무시: 신뢰도가 높은 잘못된 판단은 신뢰도가 낮은 판단보다 더 나쁩니다. 신뢰도를 위치 일관성 및 증거 강도에 맞게 보정하십시오.

…

[번역을 위해 잘림]