Agent Eval 技能 是做什么的？
一个轻量级 CLI 工具，用于在可复现的任务上对编码智能体进行头对头比较。每个“哪个编码智能体最好？”的比较都是基于主观感受——这个工具将其系统化。
何时激活
- 在您自己的代码库上比较编码智能体（Claude Code、Aider、Codex 等）
- 在采用新工具或模型之前衡量智能体性能
- 当智能体更新其模型或工具时运行回归检查
- 为团队生成数据驱动的智能体选择决策
安装
注意： 请从仓库安装 agent-eval，并在安装前查看源代码。
核心概念
YAML 任务定义
声明式地定义任务。每个任务指定要做什么、要修改哪些文件以及如何判断成功：
name: add-retry-logic
description: 为 HTTP 客户端添加指数退避重试
repo: ./my-project
files:
- src/http_client.py
prompt: |
为所有 HTTP 请求添加带指数退避的重试逻辑。
最多重试 3 次。初始延迟 1 秒，最大延迟 30 秒。
judge:
- type: pytest
command: pytest tests/test_http_client.py -v
- type: grep
pattern: "exponential_backoff|retry"
files: src/http_client.py
commit: "abc1234" # 固定到特定提交以确保可复现性
Git 工作树隔离
每次智能体运行都使用独立的 Git 工作树——无需 Docker。这提供了可复现性隔离，确保智能体之间不会互相干扰，也不会污染基础仓库。
收集的指标
| 指标 | 衡量内容 |
|---|---|
| 通过率 | 智能体生成的代码是否通过了评判？ |
| 成本 | 每个任务的 API 花费（如果可用） |
| 时间 | 完成任务的墙上时钟秒数 |
| 一致性 | 多次运行中的通过率（例如，3/3 = 100%） |
工作流程
1. 定义任务
创建一个 tasks/ 目录，其中包含 YAML 文件，每个任务一个文件：
mkdir tasks
# 编写任务定义（参见上面的模板）
2. 运行智能体
对您的任务执行智能体：
agent-eval run --task tasks/add-retry-logic.yaml --agent claude-code --agent aider --runs 3
每次运行：
- 从指定的提交创建一个新的 Git 工作树
- 将提示交给智能体
- 运行评判标准
- 记录通过/失败、成本和时间
3. 比较结果
生成比较报告：
agent-eval report --format table
Task: add-retry-logic (3 runs each)
┌──────────────┬───────────┬────────┬────────┬─────────────┐
│ Agent │ Pass Rate │ Cost │ Time │ Consistency │
├──────────────┼───────────┼────────┼────────┼─────────────┤
│ claude-code │ 3/3 │ $0.12 │ 45s │ 100% │
│ aider │ 2/3 │ $0.08 │ 38s │ 67% │
└──────────────┴───────────┴────────┴────────┴─────────────┘
评判类型
基于代码的（确定性）
judge:
- type: pytest
command: pytest tests/ -v
- type: command
command: npm run build
基于模式的
judge:
- type: grep
pattern: "class.*Retry"
files: src/**/*.py
基于模型的（LLM 作为评判者）
judge:
- type: llm
prompt: |
这个实现是否正确处理了指数退避？
检查：最大重试次数、递增延迟、抖动。
最佳实践
- 从 3-5 个任务开始，这些任务代表您的实际工作负载，而不是玩具示例
- 每个智能体至少运行 3 次以捕捉方差——智能体是非确定性的
- 在任务 YAML 中固定提交，以便结果在几天/几周内可复现
- 为每个任务至少包含一个确定性评判者（测试、构建）——LLM 评判者会增加噪声
- 同时跟踪成本和通过率——花费 10 倍成本但通过率 95% 的智能体可能不是最佳选择
- 对任务定义进行版本控制——它们是测试夹具，请像对待代码一样对待它们