上下文工程 是做什么的?
上下文工程旨在为 LLM 任务精心策划最小的高信号令牌集。其目标是在最大化推理质量的同时最小化令牌使用量。
何时激活
- 设计/调试智能体系统
- 上下文限制制约性能
- 优化成本/延迟
- 构建多智能体协调
- 实现记忆系统
- 评估智能体性能
- 开发 LLM 驱动的流水线
核心原则
- 上下文质量 > 数量 - 高信号令牌优于详尽内容
- 注意力是有限的 - U 形曲线偏向于开始/结束位置
- 渐进式披露 - 按需加载信息
- 隔离防止退化 - 跨子智能体划分工作
- 在优化之前进行测量 - 了解您的基线
重要提示:
- 为简洁牺牲语法。
- 在保持高质量的同时确保令牌效率。
- 将这些规则传递给子智能体。
快速参考
| 主题 | 何时使用 | 参考 |
|---|---|---|
| 基础 | 理解上下文结构、注意力机制 | context-fundamentals.md |
| 退化 | 调试故障、中间丢失、注入 | context-degradation.md |
| 优化 | 压缩、掩码、缓存、分区 | context-optimization.md |
| 压缩 | 长会话、摘要策略 | context-compression.md |
| 记忆 | 跨会话持久化、知识图谱 | memory-systems.md |
| 多智能体 | 协调模式、上下文隔离 | multi-agent-patterns.md |
| 评估 | 测试智能体、LLM 作为评判、指标 | evaluation.md |
| 工具设计 | 工具整合、描述工程 | tool-design.md |
| 流水线 | 项目开发、批处理 | project-development.md |
| 运行时意识 | 用量限制、上下文窗口监控 | runtime-awareness.md |
关键指标
- 令牌利用率:在 70% 时警告,在 80% 时触发优化
- 令牌方差:解释了 80% 的智能体性能差异
- 多智能体成本:约为单智能体基线的 15 倍
- 压缩目标:减少 50-70%,质量损失小于 5%
- 缓存命中目标:稳定工作负载下达到 70% 以上
四桶策略
- 写入:在外部保存上下文(草稿板、文件)
- 选择:仅拉取相关上下文(检索、过滤)
- 压缩:在保留信息的同时减少令牌(摘要)
- 隔离:跨子智能体拆分工作(分区)
反模式
- 详尽上下文而非精心策划的上下文
- 关键信息放在中间位置
- 在达到限制之前没有压缩触发
- 对可并行化的任务使用单个智能体
- 工具缺乏清晰的描述
指南
- 将关键信息放在上下文的开头/结尾
- 在利用率达到 70-80% 时实施压缩
- 使用子智能体进行上下文隔离,而不是角色扮演
- 使用四问框架(什么、何时、输入、返回)设计工具
- 优化每任务的令牌数,而非每次请求的令牌数
- 通过基于探测的评估进行验证
- 在生产中监控 KV 缓存命中率
- 从最小化开始,仅在证明必要时增加复杂性
运行时意识
系统通过 PostToolUse 钩子自动注入用量感知:
<usage-awareness>
Claude 用量限制:5h=45%, 7d=32%
上下文窗口用量:67%
</usage-awareness>
阈值:
- 70%:警告 - 考虑优化/压缩
- 90%:关键 - 需要立即采取行动
数据来源:
- 用量限制:Anthropic OAuth API (
https://api.anthropic.com/api/oauth/usage) - 上下文窗口:状态行临时文件 (
/tmp/ck-context-{session_id}.json)
脚本
- context_analyzer.py - 上下文健康分析、退化检测
- compression_evaluator.py - 压缩质量评估