高级评估
本技能涵盖使用LLM作为裁判,对LLM输出进行生产级评估的技术。它综合了学术论文、行业实践和实际实施经验,形成可操作的评估系统构建模式。
关键洞察:LLM作为裁判并非单一技术,而是一系列方法的集合,每种方法适用于不同的评估场景。选择正确的方法并缓解已知偏差是本技能的核心竞争力。
何时激活
在以下情况下激活此技能:
- 构建LLM作为裁判系统以评估LLM输出
- 比较多个模型响应以选择最佳结果
- 在评估团队中建立一致的质量标准
- 调试显示不一致结果的评估系统
- 设计针对提示或模型变更的A/B测试
- 专门为LLM或人/LLM混合裁判创建评分标准
- 分析自动评估与人工判断之间的相关性
请勿将此技能用于其他技能负责的相邻工作:
- 通用确定性检查、回归测试套件、生产质量门禁或结果指标:
evaluation。 - 自主循环治理、锁定评分标准、回滚或拉取请求审批边界:
harness-engineering。 - 评估工具的工具API合约:
tool-design。
核心概念
评估分类法
根据是否存在真实标准,在两种主要方法之间进行选择:
直接评分 — 当存在客观标准时使用(事实准确性、指令遵循、毒性)。单个LLM根据定义的量表对一个响应进行评分。对于定义明确的标准,可实现中等至高度的可靠性。注意评分漂移和量表解释不一致的问题。
两两比较 — 用于主观偏好(语气、风格、说服力)。LLM比较两个响应并选出更好的一个。对于主观任务,两两比较方法通常比开放式直接评分与人类偏好更相关(claim-advanced-evaluation-position-swap)。注意位置偏差和长度偏差。
偏差全景
在每个评估系统中缓解这些系统性偏差:
位置偏差:第一个位置的响应会获得优待。通过交换位置评估两次,然后应用多数投票或一致性检查来缓解。
长度偏差:较长的响应无论质量如何都会获得更高分数。通过明确提示忽略长度并应用长度归一化评分来缓解。
自我增强偏差:模型对自己的输出评分更高。通过使用不同的模型进行生成和评估来缓解。
冗长偏差:即使不必要,过多的细节也会获得更高分数。通过使用针对特定标准的评分标准来惩罚不相关的细节。
权威偏差:自信的语气无论准确性如何都会获得更高分数。通过要求引用证据并添加事实检查层来缓解。
指标选择框架
将指标与评估任务结构相匹配:
| 任务类型 | 主要指标 | 次要指标 |
|---|---|---|
| 二元分类(通过/失败) | 召回率、精确率、F1 | Cohen's kappa |
| 序数量表(1-5评分) | Spearman's rho, Kendall's tau | Cohen's kappa(加权) |
| 成对偏好 | 一致率、位置一致性 | 置信度校准 |
| 多标签 | 宏平均F1、微平均F1 | 每个标签的精确率/召回率 |
优先关注系统性分歧模式,而非绝对一致率,因为一个在特定标准上始终与人类意见不一致的裁判比一个存在随机噪声的裁判问题更严重。
评估方法
直接评分实施
使用三个组件构建直接评分:清晰的标准、校准后的量表和结构化输出格式。
标准定义模式:
标准:[名称]
描述:[此标准衡量的内容]
权重:[相对重要性,0-1]
量表校准 — 根据评分标准细节选择量表粒度:
- 1-3:带中立选项的二元评分,认知负荷最低
- 1-5:标准李克特量表,在粒度和可靠性之间取得最佳平衡
- 1-10:仅在带有详细分级别评分标准时使用,因为校准难度更大
直接评分提示结构:
您是评估响应质量的专家评估员。
## 任务
根据每个标准评估以下响应。
## 原始提示
{prompt}
## 待评估响应
{response}
## 标准
{每个标准:名称、描述、权重}
## 指示
对于每个标准:
1. 在响应中找到具体证据
2. 根据评分标准打分(1-{max}量表)
3. 用证据证明您的分数
4. 提出一项具体改进建议
## 输出格式
以结构化JSON形式响应,包含分数、理由和摘要。
在评分提示中,要求先提供证据再给出分数,这样裁判在输出数字之前必须将其判断锚定在可观察的输出特征上。
两两比较实施
在每个成对评估中应用位置偏差缓解:
- 首先运行确定性预检查:两个候选响应必须满足相同的模式、源证据要求和范围约束。
- 第一轮裁判:响应A在第一位置,响应B在第二位置。
- 第二轮裁判:响应B在第一位置,响应A在第二位置。
- 一致性检查:如果两轮结果不一致,返回平局并降低置信度。
- 最终裁决:一致的获胜者,具有平均置信度和明确的平局打破理由。
两两比较提示结构:
您是比较两个AI响应的专家评估员。
## 关键指示
- 请勿因为响应较长而偏好它们
- 请勿基于位置(第一 vs 第二)偏好响应
- 仅根据指定标准关注质量
- 当响应确实等价时,平局是可接受的
## 原始提示
{prompt}
## 响应A
{response_a}
## 响应B
{response_b}
## 比较标准
{标准列表}
## 指示
1. 首先独立分析每个响应
2. 在每个标准上进行比较
3. 确定总体获胜者并附上置信度
## 输出格式
包含每个标准的比较、总体获胜者、置信度(0-1)和推理的JSON。
置信度校准 — 将置信度映射到位置一致性:
- 两轮结果一致:置信度 = 各轮置信度的平均值
- 两轮结果不一致:置信度 = 0.5,裁决 = 平局
评分标准生成
生成评分标准以减少与开放式评分相比的评估差异。除非在目标评估集上测量,否则将确切的方差减少视为特定于工作负载。
包含以下评分标准组件:
- 级别描述:每个分数级别的清晰边界
- 特征:定义每个级别的可观察特征
- 示例:每个级别的代表性文本(可选但很有价值)
- 边缘情况:对模糊情况的指导
- 评分指南:一致应用的一般原则
根据用例设置严格度校准:
- 宽松:较低的通过门槛,适用于鼓励迭代
- 平衡:典型的生产期望
- 严格:对安全关键或高风险评估的高标准
使评分标准适应领域 — 使用领域特定的术语。代码可读性评分标准会提到变量、函数和注释。医学准确性评分标准会引用临床术语和证据标准。
实用指南
评估流水线设计
使用以下层级构建生产评估系统:标准加载器(评分标准 + 权重)-> 主要评分器(直接或成对)-> 偏差缓解(位置交换等)-> 置信度评分(校准)-> 输出(分数 + 理由 + 置信度)。请参阅评估流水线图以获取完整的视觉布局。
决策框架:直接评分 vs. 两两比较
应用此决策树:
是否存在客观真实标准?
+-- 是 -> 直接评分
| 示例:事实准确性、指令遵循、格式合规性
|
+-- 否 -> 这是偏好或质量判断吗?
+-- 是 -> 两两比较
| 示例:语气、风格、说服力、创造力
|
+-- 否 -> 考虑基于参考的评估
示例:摘要(与源文本比较)、翻译(与参考译文比较)
扩展评估
对于高容量评估,应用以下策略之一:
-
LLM小组 (PoLL):使用多个模型作为裁判并聚合投票,以减少单个模型偏差。更昂贵,但对于高风险决策更可靠。
-
分层评估:使用快速廉价的模型进行筛选,使用昂贵的模型处理边缘情况。需要校准筛选阈值。
-
人在回路中:自动化明确案例,并将低置信度决策路由给人工审核。设计反馈循环以随时间改进自动评估。
示例
示例 1:准确性直接评分
输入:
提示:“地球上季节的原因是什么?”
响应:“季节是由地球倾斜的地轴引起的。当地球绕太阳运行时,
不同半球在一年中的不同时间接收到更直接的阳光。”
标准:事实准确性(权重:1.0)
量表:1-5
输出:
{
"criterion": "Factual Accuracy",
"score": 5,
"evidence": [
"Correctly identifies axial tilt as primary cause",
"Correctly explains differential sunlight by hemisphere",
"No factual errors present"
],
"justification": "Response accurately explains the cause of seasons with correct
scientific reasoning. Both the axial tilt and its effect on sunlight distribution
are correctly described.",
"improvement": "Could add the specific tilt angle (23.5 degrees) for completeness."
}
示例 2:带位置交换的两两比较
输入:
提示:“向初学者解释机器学习”
响应A:[带有术语的技术解释]
响应B:[基于简单类比的解释]
标准:[“清晰度”, “易懂性”]
第一轮(A在前):
{ "winner": "B", "confidence": 0.8 }
第二轮(B在前):
{ "winner": "A", "confidence": 0.6 }
(注意:因为B在第一位,所以获胜者是A)
映射后的第二轮:
{ "winner": "B", "confidence": 0.6 }
最终结果:
{
"winner": "B",
"confidence": 0.7,
"positionConsistency": {
"consistent": true,
"firstPassWinner": "B",
"secondPassWinner": "B"
}
}
示例 3:评分标准生成
输入:
criterionName: "Code Readability"
criterionDescription: "How easy the code is to understand and maintain"
domain: "software engineering"
scale: "1-5"
strictness: "balanced"
输出(缩写):
{
"levels": [
{
"score": 1,
"label": "Poor",
"description": "Code is difficult to understand without significant effort",
"characteristics": [
"No meaningful variable or function names",
"No comments or documentation",
"Deeply nested or convoluted logic"
]
},
{
"score": 3,
"label": "Adequate",
"description": "Code is understandable with some effort",
"characteristics": [
"Most variables have meaningful names",
"Basic comments present for complex sections",
"Logic is followable but could be cleaner"
]
},
{
"score": 5,
"label": "Excellent",
"description": "Code is immediately clear and maintainable",
"characteristics": [
"All names are descriptive and consistent",
"Comprehensive documentation",
"Clean, modular structure"
]
}
],
"edgeCases": [
{
"situation": "Code is well-structured but uses domain-specific abbreviations",
"guidance": "Score based on readability for domain experts, not general audience"
}
]
}
指南
-
始终要求先提供证据再给分数 - 证据优先的提示使判断更容易审计,并减少无依据的数字评分
-
在两两比较中始终交换位置 - 单次比较的结果受位置偏差影响
-
将量表粒度与评分标准细节相匹配 - 不要在缺少详细级别描述的情况下使用1-10量表
-
将客观和主观标准分开 - 客观标准使用直接评分,主观标准使用两两比较
-
包含置信度分数 - 根据位置一致性和证据强度进行校准
-
明确界定边缘情况 - 模糊情况会导致最大的评估差异
-
使用领域特定的评分标准 - 通用评分标准会产生通用(且不太有用)的评估
-
与人工判断进行验证 - 自动评估只有与人工评估相关时才有价值
-
监控系统性偏差 - 按标准、响应类型和模型跟踪分歧模式
-
为迭代而设计 - 评估系统随着反馈循环而改进
常见陷阱
-
无理由的评分:分数缺乏依据且难以调试。始终要求先进行基于证据的证明再打分。
-
单次成对比较:当位置未交换时,位置偏差会污染结果。始终交换位置评估两次并检查一致性。
-
重载的标准:同时衡量多个方面的标准会产生不可靠的分数。强制执行一个标准 = 一个可衡量的方面。
-
缺失边缘情况指导:无明确指示时,评估人员对模糊情况的处理方式不一致。在评分标准中包含边缘情况并附上清晰的解决规则。
-
忽略置信度校准:高置信度的错误判断比低置信度的判断更糟糕。根据位置一致性和证据强度校准置信度。
-
评分标准漂移:随着质量标准随时间演变或评估人员对标准解释的变化,评分标准可能会失准。
...
[因翻译而截断]