智能体性能优化工作流
通过性能分析、提示工程和持续迭代，系统性地改进现有智能体。
[延伸思考：智能体优化需要结合性能指标、用户反馈分析和高级提示工程技术的数据驱动方法。成功取决于系统性评估、有针对性的改进，以及具备生产安全回滚能力的严格测试。]
何时使用此技能
- 改进现有智能体的性能或可靠性
- 分析故障模式、提示质量或工具使用情况
- 运行结构化 A/B 测试或评估套件
- 为智能体设计迭代优化工作流
何时不使用此技能
- 你从头开始构建一个全新的智能体
- 没有可用的指标、反馈或测试用例
- 任务与智能体性能或提示质量无关
指令
- 建立基线指标并收集代表性示例。
- 识别故障模式并优先处理高影响修复。
- 应用提示和工作流改进，并设定可衡量的目标。
- 通过测试进行验证，并分阶段受控推广变更。
安全
- 避免未经回归测试就部署提示变更。
- 如果质量或安全指标出现倒退，则快速回滚。
阶段 1：性能分析和基线指标
使用上下文管理器进行历史数据收集，对智能体性能进行全面分析。
1.1 收集性能数据
使用：context-manager
命令：analyze-agent-performance $ARGUMENTS --days 30
收集的指标包括：
- 任务完成率（成功与失败的任务）
- 响应准确性和事实正确性
- 工具使用效率（正确的工具、调用频率）
- 平均响应时间和令牌消耗
- 用户满意度指标（修正、重试）
- 幻觉事件和错误模式
1.2 用户反馈模式分析
识别用户交互中的重复模式：
- 修正模式：用户持续修改输出的地方
- 澄清请求：常见的歧义领域
- 任务放弃：用户放弃的点
- 后续问题：回答不完整的指标
- 正面反馈：需要保留的成功模式
1.3 故障模式分类
按根本原因对故障进行分类：
- 指令理解错误：角色或任务混淆
- 输出格式错误：结构或格式问题
- 上下文丢失：长对话性能下降
- 工具误用：工具选择错误或效率低下
- 约束违反：安全或业务规则违反
- 边缘情况处理：异常输入场景
1.4 基线性能报告
生成定量基线指标：
性能基线：
- 任务成功率：[X%]
- 每任务平均修正次数：[Y]
- 工具调用效率：[Z%]
- 用户满意度评分：[1-10]
- 平均响应延迟：[Xms]
- 令牌效率比：[X:Y]
阶段 2：提示工程改进
使用 prompt-engineer 智能体应用高级提示优化技术。
2.1 思维链增强
实现结构化推理模式：
使用：prompt-engineer
技术：chain-of-thought-optimization
- 添加显式推理步骤：“让我们逐步处理这个问题...”
- 包含自我验证检查点：“在继续之前，请验证...”
- 对复杂任务实现递归分解
- 添加推理轨迹可见性以供调试
2.2 少样本示例优化
从成功交互中精选高质量示例：
- 选择多样化的示例，涵盖常见用例
- 包含之前失败的边缘情况
- 同时展示正面和负面示例并附有解释
- 按从简单到复杂的顺序排列示例
- 用关键决策点注释示例
示例结构：
好示例：
输入：[用户请求]
推理：[逐步思考过程]
输出：[成功响应]
为什么有效：[关键成功因素]
坏示例：
输入：[类似请求]
输出：[失败响应]
为什么失败：[具体问题]
正确方法：[修正版本]
2.3 角色定义精炼
强化智能体身份和能力：
- 核心目的：清晰的一句话使命
- 专业领域：特定的知识领域
- 行为特征：个性和交互风格
- 工具熟练度：可用的工具及其使用时机
- 约束：智能体不应该做的事情
- 成功标准：如何衡量任务完成情况
2.4 宪法 AI 集成
实现自我修正机制：
宪法原则：
1. 在响应前验证事实准确性
2. 自我检查潜在的偏见或有害内容
3. 验证输出格式是否符合要求
4. 确保响应完整性
5. 保持与之前响应的一致性
添加批评与修订循环：
- 初始响应生成
- 根据原则进行自我批评
- 如果检测到问题，则自动修订
- 输出前的最终验证
2.5 输出格式调优
优化响应结构：
- 通用任务的模板化结构
- 基于复杂度的动态格式化
- 详细信息的渐进式披露
- 针对可读性的 Markdown 优化
- 带语法高亮的代码块格式化
- 用于数据展示的表格和列表生成
阶段 3：测试与验证
包含 A/B 比较的全面测试框架。
3.1 测试套件开发
创建代表性测试场景：
测试类别：
1. 黄金路径场景（常见的成功案例）
2. 先前失败的任务（回归测试）
3. 边缘情况和边界场景
4. 压力测试（复杂、多步骤任务）
5. 对抗性输入（潜在的破坏点）
6. 跨领域任务（组合能力）
3.2 A/B 测试框架
对比原始版本与改进版智能体：
使用：parallel-test-runner
配置：
- 智能体 A：原始版本
- 智能体 B：改进版本
- 测试集：100 个代表性任务
- 指标：成功率、速度、令牌使用量
- 评估：盲审人工评估 + 自动评分
统计显著性检验：
- 最小样本量：每个变体 100 个任务
- 置信水平：95% (p < 0.05)
- 效应量计算（Cohen's d）
- 未来测试的功效分析
3.3 评估指标
综合评分框架：
任务级别指标：
- 完成率（二元成功/失败）
- 正确性评分（0-100% 准确度）
- 效率评分（实际步骤与最优步骤之比）
- 工具使用的适当性
- 响应相关性和完整性
质量指标：
- 幻觉率（每次响应的事实错误数）
- 一致性评分（与先前响应的对齐程度）
- 格式合规性（符合指定结构）
- 安全评分（约束遵守情况）
- 用户满意度预测
性能指标：
- 响应延迟（到第一个令牌的时间）
- 总生成时间
- 令牌消耗（输入 + 输出）
- 每任务成本（API 使用费用）
- 内存/上下文效率
3.4 人工评估协议
结构化人工审查流程：
- 盲审（评估者不知道版本）
- 标准化评分标准，包含明确标准
- 每个样本多个评估者（评估者间信度）
- 定性反馈收集
- 偏好排序（A 与 B 对比）
阶段 4：版本控制与部署
具备监控和回滚能力的安全推广。
4.1 版本管理
系统化版本策略：
版本格式：agent-name-v[主版本].[次版本].[修订版本]
示例：customer-support-v2.3.1
主版本：重大能力变更
次版本：提示改进、新示例
修订版本：错误修复、小幅调整
维护版本历史：
- 基于 Git 的提示存储
- 包含改进细节的变更日志
- 每个版本的性能指标
- 记录回滚程序
4.2 分阶段推广
渐进式部署策略：
- Alpha 测试：内部团队验证（5% 流量）
- Beta 测试：选定用户（20% 流量）
- 金丝雀发布：逐步增加（20% → 50% → 100%）
- 全面部署：满足成功标准后
- 监控期：7 天观察窗口
4.3 回滚程序
快速恢复机制：
回滚触发器：
- 成功率从基线下降 >10%
- 关键错误增加 >5%
- 用户投诉激增
- 每任务成本增加 >20%
- 检测到安全违规
回滚流程：
1. 通过监控检测问题
2. 立即通知团队
3. 切换到之前的稳定版本
4. 分析根本原因
5. 修复并重新测试后再试
4.4 持续监控
实时性能跟踪：
- 包含关键指标的仪表盘
- 异常检测警报
- 用户反馈收集
- 自动化回归测试
- 每周性能报告
成功标准
当满足以下条件时，智能体改进被视为成功：
- 任务成功率提高 ≥15%
- 用户修正减少 ≥25%
- 安全违规未增加
- 响应时间保持在基线的 10% 以内
- 每任务成本增加不超过 5%
- 正面用户反馈增加
部署后审查
投入生产使用 30 天后：
- 分析累积的性能数据
- 与基线和目标进行比较
- 识别新的改进机会
- 记录经验教训
- 规划下一优化周期
持续改进周期
建立常规改进节奏：
- 每周：监控指标并收集反馈
- 每月：分析模式并规划改进
- 每季度：包含新能力的重大版本更新
- 每年：战略审查和架构更新
请记住：智能体优化是一个迭代过程。每个周期都建立在上一个学习成果之上，在保持稳定性和安全性的同时逐步提高性能。
限制
- 仅当任务明确符合上述范围时使用此技能。
- 不要将输出视为替代特定环境的验证、测试或专家审查。
- 如果缺少必需的输入、权限、安全边界或成功标准，请停止并要求澄清。