评估框架技能
一个正式的评估框架，用于Claude Code会话，实现评估驱动开发（EDD）原则。
何时激活
- 为AI辅助工作流设置评估驱动开发（EDD）
- 定义Claude Code任务完成的通过/失败标准
- 使用pass@k指标衡量代理可靠性
- 为提示或代理变更创建回归测试套件
- 在不同模型版本间基准测试代理性能
理念
评估驱动开发将评估视为“AI开发的单元测试”：
- 在实现之前定义期望行为
- 在开发过程中持续运行评估
- 每次变更追踪回归
- 使用pass@k指标衡量可靠性
评估类型
能力评估
测试Claude是否能做以前做不到的事情：
[CAPABILITY EVAL: feature-name]
Task: Description of what Claude should accomplish
Success Criteria:
- [ ] Criterion 1
- [ ] Criterion 2
- [ ] Criterion 3
Expected Output: Description of expected result
回归评估
确保变更不破坏现有功能：
[REGRESSION EVAL: feature-name]
Baseline: SHA or checkpoint name
Tests:
- existing-test-1: PASS/FAIL
- existing-test-2: PASS/FAIL
- existing-test-3: PASS/FAIL
Result: X/Y passed (previously Y/Y)
评分器类型
1. 基于代码的评分器
使用代码进行确定性检查：
# 检查文件是否包含期望模式
grep -q "export function handleAuth" src/auth.ts && echo "PASS" || echo "FAIL"
# 检查测试是否通过
npm test -- --testPathPattern="auth" && echo "PASS" || echo "FAIL"
# 检查构建是否成功
npm run build && echo "PASS" || echo "FAIL"
2. 基于模型的评分器
使用Claude评估开放结果：
[MODEL GRADER PROMPT]
Evaluate the following code change:
1. Does it solve the stated problem?
2. Is it well-structured?
3. Are edge cases handled?
4. Is error handling appropriate?
Score: 1-5 (1=poor, 5=excellent)
Reasoning: [explanation]
3. 人工评分器
标记需要人工审查：
[HUMAN REVIEW REQUIRED]
Change: Description of what changed
Reason: Why human review is needed
Risk Level: LOW/MEDIUM/HIGH
指标
pass@k
“在k次尝试中至少成功一次”
- pass@1：首次尝试成功率
- pass@3：3次内成功
- 典型目标：pass@3 > 90%
pass^k
“全部k次尝试都成功”
- 更高的可靠性门槛
- pass^3：连续成功3次
- 用于关键路径
评估工作流
1. 定义（编码前）
## EVAL DEFINITION: feature-xyz
### 能力评估
1. 能创建新用户账户
2. 能验证邮箱格式
3. 能安全地哈希密码
### 回归评估
1. 现有登录仍能正常使用
2. 会话管理不受影响
3. 登出流程完整
### 成功指标
- 能力评估的pass@3 > 90%
- 回归评估的pass^3 = 100%
2. 实施
编写代码以通过定义的评估。
3. 评估
# 运行能力评估
[运行每个能力评估，记录PASS/FAIL]
# 运行回归评估
npm test -- --testPathPattern="existing"
# 生成报告
4. 报告
EVAL REPORT: feature-xyz
========================
能力评估：
create-user: PASS (pass@1)
validate-email: PASS (pass@2)
hash-password: PASS (pass@1)
总计： 3/3 通过
回归评估：
login-flow: PASS
session-mgmt: PASS
logout-flow: PASS
总计： 3/3 通过
指标：
pass@1: 67% (2/3)
pass@3: 100% (3/3)
状态：准备审查
集成模式
实施前
/eval define feature-name
在 .claude/evals/feature-name.md 创建评估定义文件
实施中
/eval check feature-name
运行当前评估并报告状态
实施后
/eval report feature-name
生成完整的评估报告
评估存储
将评估存储在项目中：
.claude/
evals/
feature-xyz.md # Eval definition
feature-xyz.log # Eval run history
baseline.json # Regression baselines
最佳实践
- 在编码前定义评估 - 强制清晰思考成功标准
- 频繁运行评估 - 尽早捕获回归
- 追踪pass@k随时间变化 - 监控可靠性趋势
- 尽可能使用代码评分器 - 确定性优于概率性
- 安全相关需人工审查 - 永远不要完全自动化安全检查
- 保持评估快速 - 慢评估不会被执行
- 将评估与代码版本化 - 评估是一等制品
示例：添加身份验证
## EVAL: add-authentication
### 阶段1：定义（10分钟）
能力评估：
- [ ] 用户可以使用邮箱/密码注册
- [ ] 用户可以使用有效凭据登录
- [ ] 无效凭据被拒绝并返回正确错误
- [ ] 会话在页面刷新后持续存在
- [ ] 登出清除会话
回归评估：
- [ ] 公共路由仍然可访问
- [ ] API响应未改变
- [ ] 数据库模式兼容
### 阶段2：实施（时间不定）
[编写代码]
### 阶段3：评估
运行：/eval check add-authentication
### 阶段4：报告
EVAL REPORT: add-authentication
==============================
能力: 5/5 通过 (pass@3: 100%)
回归: 3/3 通过 (pass^3: 100%)
状态: 可以发布