上下文工程 是做什麼的?
上下文工程為LLM任務策劃最小但高訊號的Token集合。目標:最大化推理品質,同時最小化Token使用量。
何時啟用
- 設計/除錯代理系統
- 上下文限制影響效能
- 最佳化成本/延遲
- 建構多代理協調
- 實作記憶體系統
- 評估代理效能
- 開發LLM驅動的流程
核心原則
- 上下文品質 > 數量 - 高訊號Token勝過詳盡內容
- 注意力有限 - U型曲線偏愛開頭/結尾位置
- 漸進式揭露 - 即時載入資訊
- 隔離防止退化 - 將工作分割給子代理
- 先衡量再最佳化 - 了解你的基準
重要事項:
- 為了簡潔,可犧牲文法。
- 在維持高品質的同時確保Token效率。
- 將這些規則傳遞給子代理。
快速參考
| 主題 | 使用時機 | 參考 |
|---|---|---|
| 基礎知識 | 了解上下文結構、注意力機制 | context-fundamentals.md |
| 退化 | 除錯失敗、中間遺失、毒化 | context-degradation.md |
| 最佳化 | 壓縮、遮罩、快取、分割 | context-optimization.md |
| 壓縮 | 長時間會話、摘要策略 | context-compression.md |
| 記憶體 | 跨會話持久化、知識圖譜 | memory-systems.md |
| 多代理 | 協調模式、上下文隔離 | multi-agent-patterns.md |
| 評估 | 測試代理、LLM作為評審、指標 | evaluation.md |
| 工具設計 | 工具整合、描述工程 | tool-design.md |
| 流程 | 專案開發、批次處理 | project-development.md |
| 執行時感知 | 使用限制、上下文視窗監控 | runtime-awareness.md |
關鍵指標
- Token利用率:70%警告,80%觸發最佳化
- Token變異性:解釋代理80%的效能差異
- 多代理成本:約為單一代理基準的15倍
- 壓縮目標:減少50-70%,品質損失低於5%
- 快取命中目標:穩定工作負載達70%以上
四大策略
- 寫入:將上下文儲存於外部(暫存區、檔案)
- 選擇:僅提取相關上下文(檢索、過濾)
- 壓縮:在保留資訊的同時減少Token(摘要)
- 隔離:跨子代理分割(分割)
反模式
- 詳盡上下文勝過策劃上下文
- 關鍵資訊放在中間位置
- 在限制之前沒有壓縮觸發
- 單一代理處理可並行化的任務
- 工具缺乏清晰的描述
指南
- 將關鍵資訊放在上下文的開頭/結尾
- 在利用率達70-80%時實施壓縮
- 使用子代理進行上下文隔離,而非角色扮演
- 使用4問框架設計工具(做什麼、何時用、輸入、輸出)
- 以每任務Token而非每請求Token為最佳化目標
- 使用基於探針的評估進行驗證
- 在生產環境中監控KV快取命中率
- 從最小配置開始,僅在證明必要時增加複雜度
執行時感知
系統透過PostToolUse掛鉤自動注入使用感知:
<usage-awareness>
Claude 使用限制:5h=45%,7d=32%
上下文視窗使用率:67%
</usage-awareness>
閾值:
- 70%:警告 - 考慮最佳化/壓縮
- 90%:臨界 - 需立即採取行動
資料來源:
- 使用限制:Anthropic OAuth API(
https://api.anthropic.com/api/oauth/usage) - 上下文視窗:狀態列暫存檔(
/tmp/ck-context-{session_id}.json)
腳本
- context_analyzer.py - 上下文健康分析、退化檢測
- compression_evaluator.py - 壓縮品質評估