自動狀態提示詞改善器
決策點
提示詞評估:
├── 簡單問題/指令(什麼、何時、如何)
│ └── 跳過優化 → 直接回答
├── 複雜任務(多步驟、推理、技術性)
│ ├── Token 預算 < 1000
│ │ └── APE:3-5 次迭代
│ ├── Token 預算 1000-5000
│ │ └── OPRO:5-10 次迭代
│ └── Token 預算 > 5000
│ └── DSPy 編譯:10-20 次迭代
└── 可重複使用的模板/系統提示詞
└── 完整優化搭配歷史檢索
優化技術選擇:
├── 需要指令重寫
│ └── 使用 APE(自動提示工程)
├── 參數調整與約束
│ └── 使用 OPRO(基於提示的優化)
├── 複雜流水線含多個模組
│ └── 使用 DSPy 編譯模式
└── 未知/探索性領域
└── 混合 APE→OPRO→DSPy 串聯
迭代控制:
├── 連續 3 輪改善 < 1% → 停止
├── 品質分數 > 0.95 → 停止
├── 達到最大迭代次數 → 停止
├── 使用者確認滿意 → 停止
└── 繼續 → 下一迭代
回饋整合:
├── 任務成功(使用者確認/指標良好)
│ └── 記錄正面回饋 + 嵌入以便檢索
├── 任務失敗/品質不佳
│ └── 記錄負面回饋 + 分析失敗模式
└── 結果不明確
└── 在記錄前要求使用者提供明確回饋
失敗模式
過度優化螺旋
- 症狀:提示詞膨脹至 500+ Token,包含許多巢狀約束
- 診斷:追逐遞減回報,而非在「夠好」時停止
- 修正:應用 80/20 法則——若每次迭代改善低於 5%,則停止
模板執著
- 症狀:花費迭代在格式/結構上,而非任務清晰度
- 診斷:混淆了呈現與效能
- 修正:衡量實際任務成功,而非模板符合度
歷史過擬合
- 症狀:優化後的提示詞對過去範例有效,但對新輸入失敗
- 診斷:訓練資料集太狹隘(來自檢索)
- 修正:在優化中加入多樣化範例,並對保留案例進行測試
能力誤判
- 症狀:對模型原生處理的任務添加過多輔助結構
- 診斷:未經測試即假設模型限制
- 修正:在大量提示前先測試基準能力
衡量盲目性
- 症狀:多次迭代卻無明確的成功指標
- 診斷:在不知「更好」的定義下進行優化
- 修正:在第一步就定義可衡量的成功標準
工作範例
範例 1:程式碼優化請求
原始內容:「讓這段程式碼更好」
def process_data(data):
results = []
for item in data:
if item > 0:
results.append(item * 2)
return results
決策點導航:
- 評估:複雜任務(需要程式碼分析)→ 觸發優化
- 技術選擇:程式碼審查 + 改善 → APE 搭配 5 次迭代
- 檢索的背景資訊:歷史中類似的程式碼優化提示詞
- 優化後的提示詞:「分析此 Python 函式的效能、可讀性和 Pythonic 模式。識別具體改善:演算法複雜度、記憶體使用、邊界情況和風格。提供重構後的程式碼並附上解釋。」
新手常忽略的:模糊的「更好」未指定標準 專家會注意的:需要明確的維度(效能、風格、邊界情況)
結果:清晰分析列表推導式的機會、邊界情況處理、型別提示
範例 2:推理任務模板
原始內容:「幫我想清楚這個決定」
決策點導航:
- 評估:可重複使用的模板 + 推理任務 → 完整優化
- 歷史檢索:找到決策框架提示詞(相似度 0.87)
- 技術選擇:DSPy 編譯(結構化推理流水線)
- 迭代策略:10 輪,衡量決策品質
優化後的模板:
決策分析框架:
1. 情境:清楚陳述決策及其限制
2. 利害關係人:列出受影響方及其利益
3. 選項:產生 3-5 個不同的替代方案
4. 標準:定義成功指標與權重
5. 取捨:根據標準分析每個選項
6. 建議:選擇最佳選項並附上信心水準
應用的品質閘門:模板完整性、可重複使用性分數、使用者滿意度
範例 3:模糊的技術請求
原始內容:「設定監控」
決策點導航:
- 評估:規格不足 + 技術性 → 觸發優化
- 釐清策略:OPRO 搭配約束引出
- 領域背景:檢索監控設定模式
優化後的提示詞: 「設計監控設定,指定:(1) 基礎設施範圍(伺服器、容器、應用程式),(2) 關鍵指標(效能、可用性、業務),(3) 警示閾值與升級, (4) 技術棧限制,(5) 預算/複雜度限制。提供實作藍圖並標明優先順序。」
前後取捨:
- 優化前:無止盡的一來一回釐清
- 優化後:一次交換即可完成結構化需求收集
- 成本:初始提示詞較長
- 效益:一次回合完成完整規格
品質閘門
呼叫 optimize_prompt 前的執行前檢查清單:
- 任務複雜度分數 > 3(需要多步驟/推理)
- 已定義或可推導出明確的成功標準
- Token 預算已估算,技術已選擇
- 已識別領域背景以便檢索
- 根據複雜度設定了迭代限制
最佳化後驗證:
- 優化後的提示詞具體且可操作
- 成功指標可衡量
- 限制連貫性驗證(無矛盾)
- Token 效率:改善正當化了增加的長度
- 歷史背景已適當整合
- 重大變更已獲得使用者確認
品質評分標準(0-100):
- 清晰度:新手使用者能理解需求嗎?(25 分)
- 具體性:具體 vs. 抽象指令?(25 分)
- 完整性:涵蓋邊界情況與限制嗎?(25 分)
- 效率:在不冗贅的情況下達成目標嗎?(25 分)
不適用範圍
請勿將此技能用於:
- 簡單事實性問題 → 直接使用知識回答
- 不涉及推理的檔案操作 → 使用檔案管理技能
- 直接指令執行 → 立即執行
- 對話式回覆 → 自然回應
- 已經優化過的提示詞 → 先檢查歷史以避免重複優化
- 使用者明確表示「不要優化」 → 尊重使用者偏好
請委派給:
- 數學問題 → 使用以計算為主的技能
- 創意寫作 → 使用創意寫作技能(除非需要創建模板)
- 資料分析 → 使用資料分析技能(除非需要複雜推理)
- 除錯 → 使用除錯技能(除非需要系統性改善)
需要判斷的灰色地帶:
- 中等複雜度任務(分數 2-4) → 先測試基準效能
- 領域專業請求 → 僅在具有可重複使用模板潛力時優化
- 後續問題 → 僅在顯著擴大範圍時優化