上下文工程
上下文工程旨在為LLM任務精選最小的高信號令牌集。目標是在最大化推理品質的同時最小化令牌使用量。
何時啟用
- 設計/調試代理系統時
- 上下文限制制約效能時
- 優化成本/延遲時
- 構建多代理協調時
- 實施記憶系統時
- 評估代理效能時
- 開發LLM驅動的管道時
核心原則
- 上下文品質 > 數量 - 高信號令牌勝過詳盡內容
- 注意力是有限的 - U形曲線偏好開頭/結尾位置
- 漸進式披露 - 即時載入資訊
- 隔離防止退化 - 將工作分配給子代理
- 先測量再優化 - 了解你的基線
重要提示:
- 為了簡潔可以犧牲文法。
- 在維持高品質的同時確保令牌效率。
- 將這些規則傳遞給子代理。
快速參考
| 主題 | 使用時機 | 參考資料 |
|---|---|---|
| 基礎知識 | 了解上下文結構、注意力機制 | context-fundamentals.md |
| 退化 | 調試失敗、中間遺失、污染 | context-degradation.md |
| 優化 | 壓縮、遮蔽、快取、分割 | context-optimization.md |
| 壓縮 | 長會話、摘要策略 | context-compression.md |
| 記憶 | 跨會話持久性、知識圖譜 | memory-systems.md |
| 多代理 | 協調模式、上下文隔離 | multi-agent-patterns.md |
| 評估 | 測試代理、LLM作為評審、指標 | evaluation.md |
| 工具設計 | 工具整合、描述工程 | tool-design.md |
| 管道 | 專案開發、批次處理 | project-development.md |
| 運行時感知 | 使用限制、上下文視窗監控 | runtime-awareness.md |
關鍵指標
- 令牌利用率:70%時警告,80%時觸發優化
- 令牌變異性:解釋了80%的代理效能變異
- 多代理成本:約為單一代理基線的15倍
- 壓縮目標:減少50-70%,品質損失低於5%
- 快取命中目標:穩定工作負載達70%以上
四桶策略
- 寫入:將上下文儲存在外部(暫存板、文件)
- 選擇:僅提取相關上下文(檢索、過濾)
- 壓縮:在保留資訊的同時減少令牌(摘要)
- 隔離:分割到子代理中(分割)
反模式
- 詳盡的上下文勝過精心挑選的上下文
- 關鍵資訊放在中間位置
- 在達到限制前沒有壓縮觸發機制
- 對可並行化的任務使用單一代理
- 工具缺乏清晰的描述
指南
- 將關鍵資訊放在上下文的開頭/結尾
- 在利用率達到70-80%時進行壓縮
- 使用子代理進行上下文隔離,而非角色扮演
- 使用4問題框架設計工具(什麼、何時、輸入、輸出)
- 優化每個任務的令牌數,而非每次請求的令牌數
- 使用基於探針的評估進行驗證
- 在生產環境中監控KV快取命中率
- 從最小化開始,只有在證實必要時才增加複雜度
運行時感知
系統透過PostToolUse鉤子自動注入使用量感知:
<usage-awareness>
Claude使用限制:5小時=45%,7天=32%
上下文視窗使用率:67%
</usage-awareness>
閾值:
- 70%:警告 - 考慮優化/壓縮
- 90%:嚴重 - 需要立即行動
資料來源:
- 使用限制:Anthropic OAuth API (
https://api.anthropic.com/api/oauth/usage) - 上下文視窗:狀態列暫存檔 (
/tmp/ck-context-{session_id}.json)
腳本
- context_analyzer.py - 上下文健康分析、退化檢測
- compression_evaluator.py - 壓縮品質評估