上下文工程 是做什么的?
上下文工程致力于为LLM任务策划最小的高信噪比令牌集。目标是:在最大化推理质量的同时,最小化令牌消耗。
何时激活
- 设计/调试代理系统时
- 上下文限制制约性能时
- 优化成本/延迟时
- 构建多代理协调时
- 实施记忆系统时
- 评估代理性能时
- 开发LLM驱动的流水线时
核心原则
- 上下文质量 > 数量 - 高信噪比令牌优于详尽内容
- 注意力是有限的 - U形曲线偏好开始/结束位置
- 渐进式披露 - 按需加载信息
- 隔离防止退化 - 将工作划分到子代理
- 先测量再优化 - 了解基线
重要提示:
- 为了简洁,可以牺牲语法。
- 在保证高质量的同时确保令牌效率。
- 将这些规则传递给子代理。
快速参考
| 主题 | 何时使用 | 参考 |
|---|---|---|
| 基础 | 理解上下文结构、注意力机制 | context-fundamentals.md |
| 退化 | 调试故障、中间丢失、中毒 | context-degradation.md |
| 优化 | 压缩、掩码、缓存、分区 | context-optimization.md |
| 压缩 | 长会话、摘要策略 | context-compression.md |
| 记忆 | 跨会话持久化、知识图谱 | memory-systems.md |
| 多代理 | 协调模式、上下文隔离 | multi-agent-patterns.md |
| 评估 | 测试代理、LLM作为评委、指标 | evaluation.md |
| 工具设计 | 工具整合、描述工程 | tool-design.md |
| 流水线 | 项目开发、批处理 | project-development.md |
| 运行时感知 | 使用限制、上下文窗口监控 | runtime-awareness.md |
关键指标
- 令牌利用率:70%时警告,80%时触发优化
- 令牌方差:解释80%的代理性能差异
- 多代理成本:约为单代理基线的15倍
- 压缩目标:减少50-70%,质量损失<5%
- 缓存命中目标:稳定工作负载中达到70%+
四桶策略
- 写入:将上下文保存到外部(暂存板、文件)
- 选择:仅拉取相关上下文(检索、过滤)
- 压缩:在保留信息的同时减少令牌(摘要)
- 隔离:跨子代理拆分(分区)
反模式
- 详尽上下文优于策划上下文
- 关键信息放在中间位置
- 在达到限制前没有压缩触发
- 单个代理处理可并行化任务
- 工具没有清晰的描述
指南
- 将关键信息放在上下文的开始/结束位置
- 在利用率达到70-80%时进行压缩
- 使用子代理进行上下文隔离,而不是角色扮演
- 使用四问框架(是什么、何时用、输入是什么、返回什么)设计工具
- 优化每个任务的令牌数,而非每个请求的令牌数
- 使用基于探测的评估进行验证
- 在生产环境中监控KV缓存命中率
- 从最小化开始,仅在证明必要时增加复杂性
运行时感知
系统通过PostToolUse钩子自动注入使用感知:
<usage-awareness>
Claude使用限制:5h=45%,7d=32%
上下文窗口使用率:67%
</usage-awareness>
阈值:
- 70%:警告 - 考虑优化/压缩
- 90%:严重 - 需要立即操作
数据来源:
- 使用限制:Anthropic OAuth API(
https://api.anthropic.com/api/oauth/usage) - 上下文窗口:状态行临时文件(
/tmp/ck-context-{session_id}.json)
脚本
- context_analyzer.py - 上下文健康分析、退化检测
- compression_evaluator.py - 压缩质量评估