![Discord](https://img.shields.io/badge/Discord-join%20chat-7289DA.svg?logo=discord"){kind=icon}
上下文工程
「上下文工程是一門精巧的藝術與科學，旨在為下一步在上下文視窗中填入恰到好處的資訊。」—— Andrej Karpathy
DeepGraph
與 NotebookLM + Podcast Deep Dive 聊天
完整課程建構中
上下文工程調查報告——1400 篇研究論文回顧
以第一原理與視覺化方式落實最新的上下文研究——2025 年 7 月，涵蓋 ICML、IBM、NeurIPS、OHBM 等頂尖會議
「爲 GPT-4.1 提供『認知工具』能將其於 AIME2024 上的 pass@1 表現從 26.7% 提升至 43.3%，幾乎接近 o1-preview 的效能。」—— IBM Zurich
Agent Commands
支援 Claude Code｜OpenCode｜Amp｜Kiro｜Codex｜Gemini CLI
上下文工程調查報告——1400 篇研究論文回顧｜Context Rot｜IBM Zurich｜量子語義學｜新興符號學 ICML Princeton｜MEM1 新加坡-MIT｜LLM 吸引子 上海 AI｜MemOS 上海｜潛在推理｜動態遞歸深度
一本從第一原理出發的前沿手冊，帶領你超越提示工程，進入更寬廣的上下文設計、編排與優化領域。
提示工程 │ 上下文工程
↓ │ ↓
你說什麼 │ 模型看到的其他一切
（單一指令） │ （範例、記憶、檢索、
│ 工具、狀態、控制流程）
上下文工程的定義
上下文不僅僅是用戶發送給 LLM 的單一提示。上下文是在推理時提供給 LLM 的完整資訊負載，涵蓋模型為合理完成特定任務所需的所有結構化資訊組件。
╭─────────────────────────────────────────────────────────────╮
│ 上下文工程精通課程 │
│ 從零到前沿 │
╰─────────────────────────────────────────────────────────────╯
▲
│
數學基礎
C = A(c₁, c₂, ..., cₙ)
│
▼
┌─────────────┬──────────────┬──────────────┬─────────────────┐
│ 基礎 │ 系統實作 │ 整合 │ 前沿 │
│ (第 1-4 週) │ (第 5-8 週) │ (第 9-10 週) │ (第 11-12 週) │
└─────┬───────┴──────┬───────┴──────┬───────┴─────────┬───────┘
│ │ │ │
▼ ▼ ▼ ▼
┌─────────────┐ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ 數學模型 │ │ RAG 系統 │ │ 多代理 │ │ 元遞迴 │
│ 元件 │ │ 記憶架構 │ │ 編排 │ │ 量子語義 │
│ 處理 │ │ 工具整合 │ │ 場論 │ │ 自我改進 │
│ 管理 │ │ 代理系統 │ │ 評估 │ │ 協作 │
└─────────────┘ └──────────────┘ └──────────────┘ └──────────────┘
為何會有這個儲存庫
「意義並非語義表達的內在靜態屬性，而是湧現現象」 — Agostino 等人——2025 年 7 月，印第安納大學
提示工程吸引了所有人的目光，但現在我們可以為接下來的事感到興奮。一旦你精通了提示，真正的力量來自於整個上下文視窗的工程——那些環繞提示的環境。可以理解為引導思考。
此儲存庫提供一種漸進的、以第一原理為核心的上下文工程方法，並圍繞一個生物學隱喻建構：
原子 → 分子 → 細胞 → 器官 → 神經系統 → 神經與語義場論
│ │ │ │ │ │
單一 少量 記憶 + 多代理 認知工具 + 上下文 = 場 +
提示 範例 代理 系統 作業系統 持續性與共振
「抽象是泛化的代價」—— Grant Sanderson (3Blue1Brown)
https://github.com/user-attachments/assets/9f046259-e5ec-4160-8ed0-41a608d8adf3
graph TD
classDef basic fill:#e1f5fe,stroke:#01579b,stroke-width:2px,color:#01579b
classDef intermediate fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px,color:#2e7d32
classDef advanced fill:#fff3e0,stroke:#e65100,stroke-width:2px,color:#e65100
classDef meta fill:#f3e5f5,stroke:#6a1b9a,stroke-width:2px,color:#6a1b9a
subgraph Basic["Level 1: 基礎上下文工程"]
A[原子]
B[分子]
C[細胞]
D[器官]
end
subgraph Field["Level 2: 場論"]
E[神經系統]
F[神經場]
end
subgraph Protocol["Level 3: 協議系統"]
G[協議外殼]
H[統一系統]
end
subgraph Meta["Level 4: 元遞迴"]
I[元遞迴框架]
end
%% Connections
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
G --> H
H --> I
%% Descriptions for each level
A1["單一指令<br>簡單約束<br>基本提示"] --> A
B1["範例配對<br>少量範本<br>示範集"] --> B
C1["持久記憶<br>狀態管理<br>上下文視窗"] --> C
D1["多步驟流程<br>專家代理<br>系統編排"] --> D
E1["推理框架<br>驗證工具<br>認知模式"] --> E
F1["連續語義<br>吸引子與共振<br>符號殘留"] --> F
G1["結構化模板<br>場操作<br>湧現協議"] --> G
H1["協議整合<br>系統層級湧現<br>自我維護"] --> H
I1["自我反思<br>遞迴改進<br>可解釋演化"] --> I
%% Real-world parallels
A2["類似：基本提示<br>工程"] -.-> A
B2["類似：少量範例<br>學習"] -.-> B
C2["類似：對話式<br>聊天機器人"] -.-> C
D2["類似：多代理<br>系統"] -.-> D
E2["類似：ReAct<br>思維鏈"] -.-> E
F2["類似：語義<br>場論"] -.-> F
G2["類似：協議<br>編排"] -.-> G
H2["類似：自組織<br>系統"] -.-> H
I2["類似：自我改進<br>智慧"] -.-> I
%% Apply classes
class A,B,C,D,A1,A2,B1,B2,C1,C2,D1,D2 basic
class E,F,E1,E2,F1,F2 intermediate
class G,H,G1,G2,H1,H2 advanced
class I,I1,I2 meta
快速開始
-
閱讀
00_foundations/01_atoms_prompting.md（5 分鐘）
了解為何純提示往往效果不佳 -
執行
10_guides_zero_to_hero/01_min_prompt.py（Jupyter Notebook 風格） 實驗最小可行範例 -
探索
20_templates/minimal_context.yaml
複製貼上模板到自己的專案中 -
研讀
30_examples/00_toy_chatbot/
觀看含有上下文管理的完整實作
學習路徑
┌─────────────────┐ ┌──────────────────┐ ┌────────────────┐
│ 00_foundations/ │ │ 10_guides_zero_ │ │ 20_templates/ │
│ │────▶│ to_one/ │────▶│ │
│ 理論與核心 │ │ 動手做 │ │ 可複製貼上 │
│ 概念 │ │ 逐步引導 │ │ 程式碼片段 │
└─────────────────┘ └──────────────────┘ └────────────────┘
│ │
│ │
▼ ▼
┌─────────────────┐ ┌────────────────┐
│ 40_reference/ │◀───────────────────────────▶│ 30_examples/ │
│ │ │ │
│ 深入探討與 │ │ 真實專案， │
│ 評估手冊 │ │ 漸進複雜 │
└─────────────────┘ └────────────────┘
▲ └────────────────┘
│ ▲
│ │
└────────────────────┐ ┌───────────┘
▼ ▼
┌─────────────────────┐
│ 50_contrib/ │
│ │
│ 社群貢獻 │
└─────────────────────┘
你將學到什麼
| 概念 | 它是什麼 | 為什麼重要 |
|---|---|---|
| Token 預算 | 優化上下文中的每一個 token | 更多 token = 更多成本與更慢的回應 |
| 少量範例學習 | 透過展示範例來教學 | 通常比純解釋更有效 |
| 記憶系統 | 在不同輪次之間持續儲存資訊 | 能夠實現有狀態、連貫的互動 |
| 檢索增強 | 尋找並注入相關文件 | 將回應扎根於事實，減少幻覺 |
| 控制流程 | 將複雜任務分解成步驟 | 用更簡單的提示解決更困難的問題 |
| 上下文修剪 | 移除不相關的資訊 | 只保留對效能必要的部分 |
| 指標與評估 | 衡量上下文效果 | 迭代式優化 token 使用與品質之間的平衡 |
| 認知工具與提示程式設計 | 學習建立自訂工具與模板 | 提示程式設計為上下文工程開啟全新層次 |
| 神經場理論 | 將上下文視為神經場 | 將上下文建模為動態神經場，可實現迭代式上下文更新 |
| 符號機制 | 符號架構能實現更高階推理 | 更智慧的系統 = 更少工作 |
| 量子語義學 | 意義取決於觀察者 | 設計利用疊加技術的上下文系統 |
Karpathy + 3Blue1Brown 啟發的風格
適合所有經驗水平的學習者
- 第一原理——從上下文的基礎開始
- 迭代式附加——只加入模型明顯缺乏的部分
- 量化一切——token 成本、延遲、品質分數
- 果斷刪減——修剪勝過填充
- 程式碼勝過投影片——每個概念都有可執行的程式碼區塊
- 視覺化一切——每個概念都搭配 ASCII 與符號圖表
研究證據
記憶 + 推理
MEM1：學習協同記憶與推理，打造高效的長時程代理——新加坡-MIT 2025 年 6 月
「我們的結果證明了以推理驅動的記憶壓縮是一項有前景的可擴展方案，能取代現有訓練長時程互動代理的方法，同時最佳化效率與效能。」—— 新加坡-MIT
-
MEM1 訓練 AI 代理只保留重要的資訊——在每一步將記憶與推理融合——因此無論任務持續多久，它們都不會被淹沒。
-
MEM1 不堆疊無盡的上下文，而是訓練代理以推理驅動的方式壓縮記憶，只保留對未來步驟至關重要的資訊。這種方法在長時程任務中同時提升了效率與效能，證明推理式記憶管理是實現可擴展、高表現代理的關鍵。