上下文工程
上下文工程旨在為 LLM 任務策劃最小且高訊號的 Token 集。其目標:在最大化推理品質的同時,最小化 Token 使用量。
何時激活
- 設計/除錯代理系統
- 上下文限制限制了效能
- 最佳化成本/延遲
- 建構多代理協調
- 實施記憶體系統
- 評估代理效能
- 開發 LLM 驅動的管道
核心原則
- 上下文品質 > 數量 - 高訊號 Token 勝過詳盡內容
- 注意力是有限的 - U 型曲線有利於開頭/結尾位置
- 漸進式揭露 - 即時載入資訊
- 隔離防止退化 - 將工作劃分到子代理
- 先測量再最佳化 - 了解你的基準
重要事項:
- 為了簡潔,可以犧牲文法。
- 在保持高品質的同時確保 Token 效率。
- 將這些規則傳遞給子代理。
快速參考
| 主題 | 何時使用 | 參考資料 |
|---|---|---|
| 基礎知識 | 了解上下文結構、注意力機制 | context-fundamentals.md |
| 退化 | 除錯失敗、中間遺失、毒化 | context-degradation.md |
| 最佳化 | 壓縮、遮罩、快取、分割 | context-optimization.md |
| 壓縮 | 長時間會話、摘要策略 | context-compression.md |
| 記憶體 | 跨會話持久化、知識圖譜 | memory-systems.md |
| 多代理 | 協調模式、上下文隔離 | multi-agent-patterns.md |
| 評估 | 測試代理、LLM 作為評審、指標 | evaluation.md |
| 工具設計 | 工具整合、描述工程 | tool-design.md |
| 管道 | 專案開發、批次處理 | project-development.md |
| 運行時感知 | 使用限制、上下文視窗監控 | runtime-awareness.md |
關鍵指標
- Token 利用率:70% 時警告,80% 時觸發最佳化
- Token 變異性:解釋 80% 的代理效能差異
- 多代理成本:約單代理基線的 15 倍
- 壓縮目標:減少 50-70%,品質損失小於 5%
- 快取命中目標:穩定工作負載達 70% 以上
四桶策略
- 寫入:將上下文儲存到外部(暫存區、檔案)
- 選擇:僅提取相關上下文(檢索、過濾)
- 壓縮:在保留資訊的同時減少 Token(摘要)
- 隔離:跨子代理分割(分割)
反模式
- 詳盡的上下文而非精選的上下文
- 關鍵資訊放在中間位置
- 在達到限制前沒有觸發壓縮
- 對可並行化的任務使用單一代理
- 工具缺乏清晰的描述
指南
- 將關鍵資訊放在上下文的開頭/結尾
- 在利用率達到 70-80% 時實施壓縮
- 使用子代理進行上下文隔離,而非角色扮演
- 使用 4 問題框架設計工具(功能、時機、輸入、回傳)
- 最佳化每個任務的 Token,而非每個請求的 Token
- 使用基於探針的評估進行驗證
- 在生產環境中監控 KV 快取命中率
- 從最簡開始,只有在證明必要時才增加複雜性
運行時感知
系統透過 PostToolUse 鉤子自動注入使用感知:
<usage-awareness>
Claude 使用限制:5h=45%, 7d=32%
上下文視窗使用量:67%
</usage-awareness>
閾值:
- 70%:警告 - 考慮最佳化/壓縮
- 90%:關鍵 - 需要立即行動
資料來源:
- 使用限制:Anthropic OAuth API (
https://api.anthropic.com/api/oauth/usage) - 上下文視窗:狀態列暫存檔 (
/tmp/ck-context-{session_id}.json)
腳本
- context_analyzer.py - 上下文健康分析、退化偵測
- compression_evaluator.py - 壓縮品質評估