![Discord](https://img.shields.io/badge/Discord-join%20chat-7289DA.svg?logo=discord"){kind=icon}
컨텍스트 엔지니어링은(는) 무엇을 하나요?
"컨텍스트 엔지니어링은 컨텍스트 윈도우에 다음 단계에 딱 맞는 정보를 채우는 섬세한 예술이자 과학입니다." — Andrej Karpathy
DeepGraph
NotebookLM + 팟캐스트 심층 분석
종합 강좌 제작 중
컨텍스트 엔지니어링 설문 조사 – 연구 논문 1400편 리뷰
최신 컨텍스트 연구를 원리와 시각 자료로 실용화 – ICML, IBM, NeurIPS, OHBM 등 2025년 7월
"GPT-4.1에 ‘인지 도구’를 제공하면 AIME2024에서 pass@1 성능이 26.7%에서 43.3%로 향상되어 o1-preview의 성능에 매우 근접합니다." — IBM Zurich
에이전트 명령어
Claude Code | OpenCode | Amp | Kiro | Codex | Gemini CLI 지원
컨텍스트 엔지니어링 설문 조사 – 연구 논문 1400편 리뷰 | 컨텍스트 부패 | IBM Zurich | 양자 의미론 | 창발적 기호학 ICML Princeton | MEM1 Singapore-MIT | LLM 끌개 Shanghai AI | MemOS Shanghai | 잠재 추론 | 동적 재귀 깊이
프롬프트 엔지니어링을 넘어 컨텍스트 설계, 오케스트레이션, 최적화라는 더 넓은 학문으로 나아가기 위한 최첨단 원리 중심 핸드북입니다.
프롬프트 엔지니어링 │ 컨텍스트 엔지니어링
↓ │ ↓
"무엇을 말할까" │ "모델이 보는 모든 것"
(단일 명령어) │ (예시, 메모리, 검색,
│ 도구, 상태, 제어 흐름)
컨텍스트 엔지니어링의 정의
컨텍스트는 사용자가 LLM에 보내는 단일 프롬프트만이 아닙니다. 컨텍스트는 추론 시 LLM에 제공되는 완전한 정보 페이로드로, 모델이 주어진 작업을 그럴듯하게 수행하는 데 필요한 모든 구조화된 정보 구성 요소를 포함합니다.
╭─────────────────────────────────────────────────────────────╮
│ 컨텍스트 엔지니어링 마스터리 코스 │
│ 제로에서 프론티어까지 │
╰─────────────────────────────────────────────────────────────╯
▲
│
수학적 기초
C = A(c₁, c₂, ..., cₙ)
│
▼
┌─────────────┬──────────────┬──────────────┬─────────────────┐
│ 기초 │ 시스템 구현 │ 통합 │ 프론티어 │
│ (1-4주) │ (5-8주) │ (9-10주) │ (11-12주) │
└─────┬───────┴──────┬───────┴──────┬───────┴─────────┬───────┘
│ │ │ │
▼ ▼ ▼ ▼
┌─────────────┐ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ 수학 모델 │ │ RAG 시스템 │ │ 멀티 에이전트│ │ 메타-재귀 │
│ 구성 요소 │ │ 메모리 아키 │ │ 오케스트레이션│ │ 양자 의미 │
│ 처리 │ │ 도구 통합 │ │ 장 이론 │ │ 자기 개선 │
│ 관리 │ │ 에이전트 시 │ │ 평가 │ │ 협업 │
└─────────────┘ └──────────────┘ └──────────────┘ └──────────────┘
이 저장소가 존재하는 이유
"의미는 의미 표현의 내재적이고 정적인 속성이 아니라 창발하는 현상입니다." — Agostino 외 – 2025년 7월, 인디애나 대학교
프롬프트 엔지니어링은 모든 주목을 받았지만, 이제 우리는 다음 단계에 대해 흥분할 수 있습니다. 프롬프트를 마스터했다면, 진정한 힘은 그 프롬프트를 둘러싼 전체 컨텍스트 윈도우를 엔지니어링하는 데서 나옵니다. 말하자면 생각의 방향을 제시하는 것입니다.
이 저장소는 생물학적 은유를 기반으로 한 점진적인 원리 중심의 컨텍스트 엔지니어링 접근법을 제공합니다.
원자 → 분자 → 세포 → 기관 → 신경계 → 신경 및 의미 장 이론
│ │ │ │ │ │
단일 퓨- 메모리 + 멀티 인지 도구 + 컨텍스트 =
프롬프트 샷 에이전트 에이전트 운영 체제 필드 + 지속성 & 공명
"추상화는 일반화의 대가입니다." — Grant Sanderson (3Blue1Brown)
창발성, 끌개, 동역학계 이론에 관하여 | 컬럼비아 DST
https://github.com/user-attachments/assets/9f046259-e5ec-4160-8ed0-41a608d8adf3
graph TD
classDef basic fill:#e1f5fe,stroke:#01579b,stroke-width:2px,color:#01579b
classDef intermediate fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px,color:#2e7d32
classDef advanced fill:#fff3e0,stroke:#e65100,stroke-width:2px,color:#e65100
classDef meta fill:#f3e5f5,stroke:#6a1b9a,stroke-width:2px,color:#6a1b9a
subgraph Basic["레벨 1: 기본 컨텍스트 엔지니어링"]
A[원자]
B[분자]
C[세포]
D[기관]
end
subgraph Field["레벨 2: 장 이론"]
E[신경계]
F[신경장]
end
subgraph Protocol["레벨 3: 프로토콜 시스템"]
G[프로토콜 셸]
H[통합 시스템]
end
subgraph Meta["레벨 4: 메타-재귀"]
I[메타-재귀 프레임워크]
end
%% 연결
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
G --> H
H --> I
%% 각 레벨에 대한 설명
A1["단일 명령어<br>간단한 제약 조건<br>기본 프롬프트"] --> A
B1["예시 쌍<br>퓨-샷 패턴<br>데모 세트"] --> B
C1["지속적 메모리<br>상태 관리<br>컨텍스트 윈도우"] --> C
D1["다단계 흐름<br>전문가<br>시스템 오케스트레이션"] --> D
E1["추론 프레임워크<br>검증 도구<br>인지 패턴"] --> E
F1["연속적 의미<br>끌개 & 공명<br>상징적 잔여물"] --> F
G1["구조화된 템플릿<br>장 연산<br>창발성 프로토콜"] --> G
H1["프로토콜 통합<br>시스템 수준 창발성<br>자기 유지"] --> H
I1["자기 성찰<br>재귀적 개선<br>해석 가능한 진화"] --> I
%% 실제 세계 비유
A2["예: 기본 프롬프트<br>엔지니어링"] -.-> A
B2["예: 퓨-샷<br>학습"] -.-> B
C2["예: 대화형<br>챗봇"] -.-> C
D2["예: 멀티 에이전트<br>시스템"] -.-> D
E2["예: ReAct<br>사고의 사슬"] -.-> E
F2["예: 의미<br>장 이론"] -.-> F
G2["예: 프로토콜<br>오케스트레이션"] -.-> G
H2["예: 자기 조직화<br>시스템"] -.-> H
I2["예: 자기 개선<br>지능"] -.-> I
%% 클래스 적용
class A,B,C,D,A1,A2,B1,B2,C1,C2,D1,D2 basic
class E,F,E1,E2,F1,F2 intermediate
class G,H,G1,G2,H1,H2 advanced
class I,I1,I2 meta
빠른 시작
-
00_foundations/01_atoms_prompting.md읽기 (5분)
프롬프트만으로 성능이 부족한 이유 이해하기 -
10_guides_zero_to_hero/01_min_prompt.py실행하기 (주피터 노트북 스타일) 최소한의 작동 예제로 실험하기 -
20_templates/minimal_context.yaml살펴보기
템플릿을 복사/붙여넣기하여 자신의 프로젝트에 적용하기 -
30_examples/00_toy_chatbot/학습하기
컨텍스트 관리를 포함한 완전한 구현 예제 확인하기
학습 경로
┌─────────────────┐ ┌──────────────────┐ ┌────────────────┐
│ 00_foundations/ │ │ 10_guides_zero_ │ │ 20_templates/ │
│ │────▶│ to_one/ │────▶│ │
│ 이론 및 핵심 │ │ 실습 │ │ 복사/붙여넣기 │
│ 개념 │ │ 워크스루 │ │ 코드 조각 │
└─────────────────┘ └──────────────────┘ └────────────────┘
│ │
│ │
▼ ▼
┌─────────────────┐ ┌────────────────┐
│ 40_reference/ │◀───────────────────────────▶│ 30_examples/ │
│ │ │ │
│ 심층 분석 및 │ │ 실제 프로젝트, │
│ 평가 쿡북 │ │ 점진적 복잡도 │
└─────────────────┘ └────────────────┘
▲
│
└────────────────────┐ ┌───────────┘
▼ ▼
┌─────────────────────┐
│ 50_contrib/ │
│ │
│ 커뮤니티 │
│ 기여 │
└─────────────────────┘
배우게 될 내용
| 개념 | 설명 | 중요한 이유 |
|---|---|---|
| 토큰 예산 | 컨텍스트의 모든 토큰 최적화 | 더 많은 토큰 = 더 많은 비용과 느린 응답 |
| 퓨-샷 학습 | 예시를 보여줌으로써 가르치기 | 종종 설명만으로 하는 것보다 더 효과적 |
| 메모리 시스템 | 턴 전체에 걸쳐 정보 유지 | 상태 저장, 일관된 상호작용 가능 |
| 검색 증강 | 관련 문서 찾기 및 주입 | 사실에 근거한 응답, 환각 감소 |
| 제어 흐름 | 복잡한 작업을 단계로 분할 | 더 간단한 프롬프트로 더 어려운 문제 해결 |
| 컨텍스트 정리 | 관련 없는 정보 제거 | 성능에 필요한 것만 유지 |
| 지표 및 평가 | 컨텍스트 효과 측정 | 토큰 사용 대 품질의 반복적 최적화 |
| 인지 도구 및 프롬프트 프로그래밍 | 맞춤 도구 및 템플릿 구축 학습 | 프롬프트 프로그래밍은 컨텍스트 엔지니어링의 새로운 계층 가능 |
| 신경장 이론 | 컨텍스트를 신경장으로 모델링 | 동적 신경장으로 컨텍스트를 모델링하면 반복적 컨텍스트 업데이트 가능 |
| 기호 메커니즘 | 기호 아키텍처로 고차 추론 가능 | 더 똑똑한 시스템 = 더 적은 작업 |
| 양자 의미론 | 관찰자 의존적 의미 | 중첩 기술을 활용한 컨텍스트 시스템 설계 |
Karpathy + 3Blue1Brown 스타일
모든 경험 수준의 학습자를 위해
- 원리 중심 – 근본적인 컨텍스트에서 시작
- 반복적 추가 – 모델이 명백히 부족한 것만 추가
- 모든 것 측정 – 토큰 비용, 지연 시간, 품질 점수
- 무자비하게 삭제 – 패딩보다 정리가 낫다
- 코드 > 슬라이드 – 모든 개념에 실행 가능한 셀
- 모든 것 시각화 – 모든 개념을 ASCII 및 기호 다이어그램으로 시각화
연구 증거
메모리 + 추론
MEM1: 장기 에이전트를 위한 메모리와 추론의 시너지 학습 – Singapore-MIT 2025년 6월
"우리의 결과는 장기 대화형 에이전트 훈련을 위한 확장 가능한 대안으로서 추론 기반 메모리 통합의 가능성을 보여줍니다. 효율성과 성능이 모두 최적화됩니다." — Singapore-MIT
-
MEM1은 AI 에이전트가 매 단계마다 메모리와 추론을 병합하여 중요한 것만 유지하도록 훈련하므로 작업이 아무리 길어도 압도되지 않습니다.
-
끝없는 컨텍스트를 쌓는 대신...