代理效能優化工作流程
透過效能分析、提示工程與持續迭代，系統性地改善現有 AI 代理。
[延伸思考：代理優化需要一個結合效能指標、使用者回饋分析和進階提示工程技術的數據驅動方法。成功取決於系統性評估、有目標的改進，以及具備回滾能力的嚴謹測試，以確保生產環境安全。]
使用此技能的時機
- 改善現有代理的效能或可靠性
- 分析失敗模式、提示品質或工具使用情況
- 執行結構化的 A/B 測試或評估套件
- 為代理設計迭代優化工作流程
請勿使用此技能的時機
- 從頭開始建立全新的代理
- 沒有可用指標、回饋或測試案例
- 任務與代理效能或提示品質無關
操作說明
- 建立基準指標並收集具代表性的範例。
- 識別失敗模式並優先處理高影響力的修正。
- 應用提示和工作流程改善，並設定可衡量的目標。
- 透過測試驗證，並在可控階段中推出變更。
安全性
- 避免在沒有回歸測試的情況下部署提示變更。
- 若品質或安全性指標下降，應快速回滾。
第一階段：效能分析與基準指標
使用 context-manager 進行歷史資料收集，對代理效能進行全面分析。
1.1 收集效能資料
使用：context-manager
指令：analyze-agent-performance $ARGUMENTS --days 30
收集的指標包含：
- 任務完成率（成功任務 vs 失敗任務）
- 回覆準確度與事實正確性
- 工具使用效率（正確工具、呼叫頻率）
- 平均回覆時間與 Token 消耗量
- 使用者滿意度指標（修正次數、重試次數）
- 幻覺事件與錯誤模式
1.2 使用者回饋模式分析
識別使用者互動中的反覆模式：
- 修正模式：使用者持續修改輸出之處
- 澄清請求：常見的模糊地帶
- 任務放棄：使用者放棄的點
- 後續問題：表示回覆不完整的指標
- 正面回饋：應保留的成功模式
1.3 失敗模式分類
根據根本原因對失敗進行分類：
- 指令誤解：角色或任務混淆
- 輸出格式錯誤：結構或格式化問題
- 上下文遺失：長時間對話導致的效能退化
- 工具誤用：錯誤或低效的工具選擇
- 限制違反：安全或業務規則的違規
- 邊界案例處理：不尋常的輸入情境
1.4 基準效能報告
產生量化基準指標：
效能基準：
- 任務成功率：[X%]
- 每項任務平均修正次數：[Y]
- 工具呼叫效率：[Z%]
- 使用者滿意度評分：[1-10]
- 平均回覆延遲：[Xms]
- Token 效率比：[X:Y]
第二階段：提示工程改善
使用 prompt-engineer 代理應用進階提示最佳化技術。
2.1 思維鏈增強
實作結構化推理模式：
使用：prompt-engineer
技術：chain-of-thought-optimization
- 加入明確的推理步驟：「讓我們一步步來...」
- 加入自我驗證檢查點：「在繼續之前，請確認...」
- 為複雜任務實作遞迴分解
- 增加推理過程的可視性以利除錯
2.2 少樣本範例最佳化
從成功的互動中策劃高品質範例：
- 選擇多樣化的範例，涵蓋常見使用案例
- 包含邊界案例，這些案例先前曾失敗
- 同時展示正面和負面範例並附上解釋
- 將範例從簡單到複雜排序
- 在範例中註解關鍵決策點
範例結構：
好範例：
輸入：[使用者請求]
推理：[逐步思考過程]
輸出：[成功回覆]
為什麼有效：[關鍵成功因素]
壞範例：
輸入：[類似請求]
輸出：[失敗回覆]
為什麼失敗：[具體問題]
正確做法：[修正版本]
2.3 角色定義微調
強化代理的身份與能力：
- 核心目標：清晰的一句話使命
- 專業領域：特定的知識範圍
- 行為特質：個性與互動風格
- 工具熟練度：可用的工具及其使用時機
- 限制條件：代理不應該做的事
- 成功標準：如何衡量任務完成度
2.4 憲法 AI 整合
實作自我修正機制：
憲法原則：
1. 在回覆前驗證事實準確性
2. 自我檢查潛在偏見或有害內容
3. 驗證輸出格式是否符合要求
4. 確保回覆完整性
5. 維持與先前回覆的一致性
加入批評與修正迴圈：
- 初始回覆生成
- 根據原則進行自我批評
- 若發現問題則自動修訂
- 輸出前的最終驗證
2.5 輸出格式調整
最佳化回覆結構：
- 為常見任務建立結構化模板
- 根據複雜度進行動態格式化
- 對詳細資訊採用漸進式揭露
- 最佳化 Markdown 以提高可讀性
- 程式碼區塊格式化並加上語法高亮
- 產生表格和清單以呈現資料
第三階段：測試與驗證
提供包含 A/B 比較的全面測試框架。
3.1 測試套件開發
建立具代表性的測試情境：
測試類別：
1. 黃金路徑情境（常見的成功案例）
2. 先前失敗的任務（回歸測試）
3. 邊界案例與邊角情境
4. 壓力測試（複雜、多步驟任務）
5. 對抗性輸入（潛在的破壞點）
6. 跨領域任務（結合多種能力）
3.2 A/B 測試框架
比較原始代理與改進後的代理：
使用：parallel-test-runner
配置：
- 代理 A：原始版本
- 代理 B：改進版本
- 測試集：100 個代表性任務
- 指標：成功率、速度、Token 使用量
- 評估：盲測人工審查 + 自動評分
統計顯著性檢定：
- 每個變體最小樣本數：100 個任務
- 信心水準：95%（p < 0.05）
- 效應量計算（Cohen's d）
- 為未來測試進行統計檢定力分析
3.3 評估指標
全面評分框架：
任務層級指標：
- 完成率（二元成功/失敗）
- 正確性評分（0-100% 準確度）
- 效率評分（步驟數 vs 最佳步驟數）
- 工具使用適當性
- 回覆相關性與完整性
品質指標：
- 幻覺率（每次回覆的事實錯誤數）
- 一致性評分（與先前回覆的符合度）
- 格式符合度（符合指定結構）
- 安全性評分（限制遵守度）
- 使用者滿意度預測
**效能指標：
- 回覆延遲（到第一個 Token 的時間）
- 總生成時間
- Token 消耗量（輸入 + 輸出）
- 每項任務成本（API 使用費用）
- 記憶體/上下文效率
3.4 人工評估協定
結構化的人工審查流程：
- 盲測評估（評估者不知道版本）
- 標準化評分表，附有明確標準
- 每個樣本由多位評估者評分（評分者間信度）
- 收集質性回饋
- 偏好排序（A vs B 比較）
第四階段：版本控制與部署
具備監控和回滾功能的安全推出策略。
4.1 版本管理
系統性的版本控制策略：
版本格式：agent-name-v[MAJOR].[MINOR].[PATCH]
範例：customer-support-v2.3.1
MAJOR：重大能力變更
MINOR：提示改善、新增範例
PATCH：錯誤修正、小幅調整
維護版本歷史記錄：
- 基於 Git 的提示儲存
- 包含改善細節的變更日誌
- 每個版本的效能指標
- 記錄回滾程序
4.2 階段性推出
漸進式部署策略：
- Alpha 測試：內部團隊驗證（5% 流量）
- Beta 測試：特定使用者（20% 流量）
- 金絲雀發布：逐步增加（20% → 50% → 100%）
- 全面部署：達到成功標準後
- 監控期間：7 天觀察視窗
4.3 回滾程序
快速復原機制：
回滾觸發條件：
- 成功率較基準下降 >10%
- 重大錯誤增加 >5%
- 使用者投訴激增
- 每項任務成本增加 >20%
- 偵測到安全違規
回滾流程：
1. 透過監控發現問題
2. 立即通知團隊
3. 切換至先前的穩定版本
4. 分析根本原因
5. 修正並重新測試後再試
4.4 持續監控
即時效能追蹤：
- 包含關鍵指標的儀表板
- 異常偵測警報
- 使用者回饋收集
- 自動化回歸測試
- 每週效能報告
成功標準
當滿足以下條件時，代理改善即為成功：
- 任務成功率提升 ≥15%
- 使用者修正次數減少 ≥25%
- 安全違規次數沒有增加
- 回覆時間維持在基準的 10% 以內
- 每項任務成本增加不超過 5%
- 正面使用者回饋增加
部署後審查
在生產環境使用 30 天後：
- 分析累積的效能資料
- 與基準和目標進行比較
- 識別新的改善機會
- 記錄經驗教訓
- 規劃下一個最佳化週期
持續改善循環
建立規律的改善節奏：
- 每週：監控指標並收集回饋
- 每月：分析模式並規劃改善
- 每季：重大版本更新，加入新功能
- 每年：策略性審查與架構更新
請記住：代理最佳化是一個反覆迭代的過程。每個循環都建立在前一個循環的學習之上，在維持穩定性和安全性的同時，逐步改善效能。
限制
- 僅在任務明確符合上述範圍時使用此技能。
- 請勿將輸出視為環境特定驗證、測試或專家審查的替代品。
- 若缺少必要的輸入、權限、安全邊界或成功標準，請停止並要求澄清。