agent-evals-cn 是做什么的?
这是一个用于评测 AI Agent / Codex 等工具的中文技能。
功能描述
该技能提供了一系列针对中文编程场景的评测任务,包括:
- 中文注释理解
- 中文需求翻译为代码
- 代码错误修复(中文错误信息)
- 中文变量名合理性检查
使用场景
可以在以下平台使用:
- Claude Code
- Cursor
- Codex
- 其他兼容的 AI 编码助手
使用方法
- 加载该技能到你的 AI Agent 中
- 运行评测命令:
eval <task-id> - 查看评测结果输出
评测标准
| 评分项 | 权重 | 说明 |
|---|---|---|
| 代码正确性 | 40% | 生成的代码是否正确 |
| 中文适配度 | 30% | 中文需求理解和表达 |
| 效率 | 30% | 完成任务的速度 |
注意事项
- 确保 AI 模型支持中文输入输出
- 建议在隔离环境中运行评测,避免影响实际代码库