github/eval-driven-dev

eval-driven-dev 是做什么的？

通过评估驱动的开发来改进AI应用。定义评估标准、检测应用、构建黄金数据集、观察和评估应用运行、分析结果，并生成具体的改进行动方案。当用户要求为任何调用LLM模型的Python项目设置质量保证、添加测试、添加评估、基准测试、修复错误行为、改进质量或进行质量保证时，始终使用此技能。

概述

评估驱动开发 (EDD) 是一种系统化的方法，用于构建和迭代改进AI应用。它通过正式评估来定义质量，将评估过程自动化，并利用结果数据指导改进。此技能将引导你完成以下关键步骤：

1. 定义评估标准：明确你的应用在哪些方面需要良好表现（例如：准确性、安全性、格式）。
2. 检测应用：添加必要的日志和指标，以便能够观察应用的行为。
3. 构建黄金数据集：创建带有理想输出的示例输入集合，作为评估的基础。
4. 观察与评估：在应用运行或回放时，收集数据并对照标准进行评估。
5. 分析结果：找出模式——哪些地方表现良好？哪些地方反复出错？
6. 制定行动计划：根据分析结果，生成具体的、可操作的改进步骤。

开始使用

要使用此技能，请确保你的开发环境支持AI代理（如Cursor或Claude Code）。技能会自动检测你项目中的Python文件，并引导你完成后续步骤。

工作流程

1. 初始化评估：运行 eval_driven_dev init 来设置项目结构（如果需要）。
2. 运行完整流程：按照交互式提示，逐步完成从定义到行动计划的每个阶段。
3. 审查结果：技能会生成详细的报告和计划，供你审查和实施。

最佳实践

• 从小处着手：从关键场景开始，逐步扩大评估范围。
• 迭代改进：每次评估后立即应用行动计划，然后重新评估。
• 保持数据集更新：随着需求变化，持续完善你的黄金数据集。

支持与反馈

如有问题或改进建议，请参考官方文档或社区资源。