上下文工程 是做什么的?
上下文工程旨在为LLM任务精选最小的高信号令牌集。目标:在最大化推理质量的同时,最小化令牌使用。
何时激活
- 设计/调试智能体系统
- 上下文限制影响性能
- 优化成本/延迟
- 构建多智能体协调
- 实现记忆系统
- 评估智能体性能
- 开发基于LLM的管道
核心原则
- 上下文质量 > 数量 - 高信号令牌优于详尽内容
- 注意力是有限的 - U形曲线有利于开头/结尾位置
- 渐进式披露 - 及时加载信息
- 隔离防止退化 - 跨子智能体分区工作
- 先测量再优化 - 了解你的基线
重要提示:
- 为简洁起见,牺牲语法。
- 在保证高质量的同时,确保令牌效率。
- 将这些规则传递给子智能体。
快速参考
| 主题 | 使用场景 | 参考 |
|---|---|---|
| 基础 | 理解上下文结构、注意力机制 | context-fundamentals.md |
| 退化 | 调试故障、中间丢失、注入 | context-degradation.md |
| 优化 | 压缩、掩码、缓存、分区 | context-optimization.md |
| 压缩 | 长会话、摘要策略 | context-compression.md |
| 记忆 | 跨会话持久化、知识图谱 | memory-systems.md |
| 多智能体 | 协调模式、上下文隔离 | multi-agent-patterns.md |
| 评估 | 测试智能体、LLM作为评判者、指标 | evaluation.md |
| 工具设计 | 工具整合、描述工程 | tool-design.md |
| 管道 | 项目开发、批处理 | project-development.md |
| 运行时感知 | 使用限制、上下文窗口监控 | runtime-awareness.md |
关键指标
- 令牌利用率:70%警告,80%触发优化
- 令牌方差:解释了80%的智能体性能差异
- 多智能体成本:约为单智能体基线的15倍
- 压缩目标:减少50-70%,质量损失<5%
- 缓存命中目标:稳定工作负载达到70%以上
四桶策略
- 写入:将上下文保存到外部(草稿板、文件)
- 选择:仅拉取相关上下文(检索、过滤)
- 压缩:减少令牌同时保留信息(摘要)
- 隔离:跨子智能体拆分(分区)
反模式
- 详尽上下文优于精选上下文
- 关键信息放在中间位置
- 在达到限制前没有压缩触发
- 单智能体处理可并行任务
- 工具缺乏清晰描述
指南
- 将关键信息放在上下文的开头/结尾
- 在利用率达到70-80%时实施压缩
- 使用子智能体进行上下文隔离,而非角色扮演
- 使用4问题框架(什么、何时、输入、返回)设计工具
- 优化每个任务的令牌,而非每个请求的令牌
- 通过基于探测的评估进行验证
- 在生产环境中监控KV缓存命中率
- 从最小方案开始,仅在证明必要时增加复杂度
运行时感知
系统通过PostToolUse钩子自动注入使用感知:
<usage-awareness>
Claude使用限制:5h=45%,7d=32%
上下文窗口使用:67%
</usage-awareness>
阈值:
- 70%:警告 - 考虑优化/压缩
- 90%:临界 - 需要立即采取行动
数据来源:
- 使用限制:Anthropic OAuth API(
https://api.anthropic.com/api/oauth/usage) - 上下文窗口:状态栏临时文件(
/tmp/ck-context-{session_id}.json)
脚本
- context_analyzer.py - 上下文健康分析、退化检测
- compression_evaluator.py - 压缩质量评估