davidkimai/Context-Engineering

Context Engineering

„Context Engineering ist die delikate Kunst und Wissenschaft, das Kontextfenster mit den genau richtigen Informationen für den nächsten Schritt zu füllen.“ – Andrej Karpathy

Talk: „Software Is Changing (Again)“ @YC AI Startup School

DeepGraph

Chat mit NotebookLM + Podcast Deep Dive

Umfassender Kurs im Aufbau

Context Engineering – Übersichtsstudie von 1400 Forschungspapieren

Awesome Context Engineering Repo

Operationalisierung der neuesten Forschung zu Context mit ersten Prinzipien und visuellen Darstellungen – Juli 2025 von ICML, IBM, NeurIPS, OHBM und mehr

„Die Bereitstellung kognitiver Werkzeuge für GPT-4.1 erhöht seine Pass@1-Leistung bei AIME2024 von 26,7 % auf 43,3 % und bringt sie damit sehr nahe an die Leistung von o1-preview heran.“ – IBM Zürich

Agenten-Befehle

Unterstützung für Claude Code | OpenCode | Amp | Kiro | Codex | Gemini CLI

Context Engineering – Übersichtsstudie von 1400 Forschungspapieren | Context Rot | IBM Zürich | Quantensemantik | Emergent Symbolics ICML Princeton | MEM1 Singapore-MIT | LLM Attractors Shanghai AI | MemOS Shanghai | Latent Reasoning | Dynamisch Rekursive Tiefen

Ein zukunftsweisendes, auf ersten Prinzipien basierendes Handbuch für den Übergang vom Prompt Engineering zur umfassenderen Disziplin des Context Designs, der Orchestrierung und Optimierung.

                    Prompt Engineering  │  Context Engineering
                       ↓                │            ↓                      
               „Was du sagst“           │  „Alles andere, was das Modell sieht“
             (Einzelne Anweisung)       │    (Beispiele, Gedächtnis, Abruf,
                                        │     Werkzeuge, Zustand, Kontrollfluss)

Definition von Context Engineering

Context ist nicht nur die einzelne Aufforderung, die Benutzer an ein LLM senden. Context ist das vollständige Informationspaket, das einem LLM zur Inferenzzeit bereitgestellt wird und alle strukturierten Informationskomponenten umfasst, die das Modell benötigt, um eine bestimmte Aufgabe plausibel zu erfüllen.

— Definition von Context Engineering aus einer systematischen Analyse von über 1400 Forschungspapieren

╭─────────────────────────────────────────────────────────────╮
│              CONTEXT ENGINEERING MASTERY COURSE             │
│                    Von Null zur Spitze                      │
╰─────────────────────────────────────────────────────────────╯
                          ▲
                          │
                 Mathematische Grundlagen
                  C = A(c₁, c₂, ..., cₙ)
                          │
                          ▼
┌─────────────┬──────────────┬──────────────┬─────────────────┐
│ GRUNDLAGEN  │ SYSTEM-IMPL  │ INTEGRATION  │ SPITZENFORSCH.  │
│ (Wochen 1-4)│ (Wochen 5-8) │ (Wochen 9-10)│ (Wochen 11-12)  │
└─────┬───────┴──────┬───────┴──────┬───────┴─────────┬───────┘
      │              │              │                 │
      ▼              ▼              ▼                 ▼
┌─────────────┐ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ Math. Model │ │ RAG-Systeme  │ │ Multi-Agent  │ │ Meta-Rekurs. │
│ Komponenten │ │ Speicherarch.│ │ Orchestrier. │ │ Quantensem.  │
│ Verarbeit.  │ │ Werkzeugint. │ │ Feldtheorie  │ │ Selbstverb.  │
│ Verwaltung  │ │ Agenten-     │ │ Evaluierung  │ │ Kollaboration│
│             │ │ systeme      │ │              │ │              │
└─────────────┘ └──────────────┘ └──────────────┘ └──────────────┘

Warum dieses Repository existiert

„Bedeutung ist keine intrinsische, statische Eigenschaft eines semantischen Ausdrucks, sondern ein emergentes Phänomen“ — Agostino et al. – Juli 2025, Indiana University

Das Prompt Engineering hat die gesamte Aufmerksamkeit erhalten, aber jetzt können wir uns auf das freuen, was als nächstes kommt. Sobald Sie Aufforderungen gemeistert haben, liegt die wahre Kraft darin, das gesamte Kontextfenster zu gestalten, das diese Aufforderungen umgibt. Also die Gedankenführung, wenn man so will.

Dieses Repository bietet einen progressiven, auf ersten Prinzipien basierenden Ansatz für Context Engineering, aufgebaut um eine biologische Metapher herum:

Atome → Moleküle → Zellen → Organe → neuronale Systeme → neuronale & semantische Feldtheorie 
  │        │         │         │             │                         │        
einzelne     few-    Gedächtnis +  multi-   kognitive Werkzeuge +     Kontext = Felder +
Aufforderung shot    Agenten     Agenten   Betriebssysteme            Persistenz & Resonanz

„Abstraktion ist der Preis der Verallgemeinerung“ – Grant Sanderson (3Blue1Brown)

A Survey of Context Engineering – Juli 2025

Über Emergenz, Attraktoren und dynamische Systemtheorie | Columbia DST

https://github.com/user-attachments/assets/9f046259-e5ec-4160-8ed0-41a608d8adf3

graph TD
    classDef basic fill:#e1f5fe,stroke:#01579b,stroke-width:2px,color:#01579b
    classDef intermediate fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px,color:#2e7d32
    classDef advanced fill:#fff3e0,stroke:#e65100,stroke-width:2px,color:#e65100
    classDef meta fill:#f3e5f5,stroke:#6a1b9a,stroke-width:2px,color:#6a1b9a
    
    subgraph Basic["Level 1: Grundlegendes Context Engineering"]
        A[Atome]
        B[Moleküle]
        C[Zellen]
        D[Organe]
    end
    
    subgraph Field["Level 2: Feldtheorie"]
        E[Neuronale Systeme]
        F[Neuronale Felder]
    end
    
    subgraph Protocol["Level 3: Protokollsystem"]
        G[Protokollhüllen]
        H[Vereinheitlichtes System]
    end
    
    subgraph Meta["Level 4: Meta-Rekursion"]
        I[Meta-rekursives Framework]
    end
    
    %% Verbindungen
    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> I
    
    %% Beschreibungen für jedes Level
    A1["Einzelne Anweisungen<br>Einfache Einschränkungen<br>Basisaufforderungen"] --> A
    B1["Beispielpaare<br>Few-shot-Muster<br>Demonstrationssätze"] --> B
    C1["Persistentes Gedächtnis<br>Zustandsverwaltung<br>Kontextfenster"] --> C
    D1["Mehrstufige Abläufe<br>Spezialisten<br>Systemorchestrierung"] --> D
    E1["Argumentationsgerüste<br>Verifikationswerkzeuge<br>Kognitive Muster"] --> E
    F1["Kontinuierliche Bedeutung<br>Attraktoren & Resonanz<br>Symbolischer Rückstand"] --> F
    G1["Strukturierte Vorlagen<br>Feldoperationen<br>Emergenzprotokolle"] --> G
    H1["Protokollintegration<br>Emergenz auf Systemebene<br>Selbsterhaltung"] --> H
    I1["Selbstreflexion<br>Rekursive Verbesserung<br>Interpretierbare Evolution"] --> I
    
    %% Parallelen aus der Praxis
    A2["Wie: Grundlegendes Prompt<br>Engineering"] -.-> A
    B2["Wie: Few-shot<br>Lernen"] -.-> B
    C2["Wie: Konversations-<br>Chatbots"] -.-> C
    D2["Wie: Multi-Agenten-<br>Systeme"] -.-> D
    E2["Wie: ReAct<br>Chain-of-Thought"] -.-> E
    F2["Wie: Semantische<br>Feldtheorie"] -.-> F
    G2["Wie: Protokoll-<br>Orchestrierung"] -.-> G
    H2["Wie: Selbstorganisierende<br>Systeme"] -.-> H
    I2["Wie: Selbstverbessernde<br>Intelligenz"] -.-> I
    
    %% Klassen zuweisen
    class A,B,C,D,A1,A2,B1,B2,C1,C2,D1,D2 basic
    class E,F,E1,E2,F1,F2 intermediate
    class G,H,G1,G2,H1,H2 advanced
    class I,I1,I2 meta

Schnellstart

1. Lesen Sie 00_foundations/01_atoms_prompting.md (5 Min.)
   Verstehen Sie, warum Aufforderungen allein oft schlechter abschneiden

2. Führen Sie 10_guides_zero_to_hero/01_min_prompt.py aus (Jupyter-Notebook-Stil) Experimentieren Sie mit einem minimalen Arbeitsbeispiel

3. Erkunden Sie 20_templates/minimal_context.yaml
   Kopieren Sie eine Vorlage in Ihr eigenes Projekt

4. Studieren Sie 30_examples/00_toy_chatbot/
   Sehen Sie eine vollständige Implementierung mit Kontextverwaltung

Lernpfad

┌─────────────────┐     ┌──────────────────┐     ┌────────────────┐
│ 00_ Grundlagen/ │     │ 10_Anleitungen_  │     │ 20_Vorlagen/   │
│                 │────▶│ von_Null_zum_    │────▶│                │
│ Theorie & Kern- │     │ Helden/          │     │ Kopierfertige  │
│ konzepte        │     │ Praxisnahe       │     │ Ausschnitte    │
│                 │     │ Durchläufe       │     │                │
└─────────────────┘     └──────────────────┘     └────────────────┘
         │                                                │
         │                                                │
         ▼                                                ▼
┌─────────────────┐                             ┌────────────────┐
│ 40_Referenz/    │◀───────────────────────────▶│ 30_Beispiele/  │
│                 │                             │                │
│ Tiefergehende   │                             │ Echte Projekte,│
│ Analysen &      │                             │ zunehmend      │
│ Evaluierungs-   │                             │ komplexer      │
│ kochbuch        │                             │                │
└─────────────────┘                             └────────────────┘
         ▲                                      
         │                                      
         └────────────────────┐               ┌───────────┘
                              ▼               ▼
                         ┌─────────────────────┐
                         │ 50_Mitwirken/       │
                         │                     │
                         │ Community-          │
                         │ beiträge            │
                         └─────────────────────┘

Was Sie lernen werden

Konzept	Was es ist	Warum es wichtig ist
Token-Budget	Optimieren jedes Tokens in Ihrem Kontext	Mehr Token = mehr $$ und langsamere Antworten
Few-Shot Learning	Lehren durch Zeigen von Beispielen	Funktioniert oft besser als reine Erklärung
Gedächtnissysteme	Beibehalten von Informationen über mehrere Schritte	Ermöglicht zustandsbehaftete, kohärente Interaktionen
Retrieval Augmentation	Finden und Einfügen relevanter Dokumente	Verankert Antworten in Fakten, reduziert Halluzinationen
Kontrollfluss	Aufteilen komplexer Aufgaben in Schritte	Lösen schwierigerer Probleme mit einfacheren Aufforderungen
Context-Bereinigung	Entfernen irrelevanter Informationen	Nur das Nötigste für die Leistung behalten
Metriken & Evaluierung	Messen der Kontexteffektivität	Iterative Optimierung der Token-Nutzung vs. Qualität
Kognitive Werkzeuge & Prompt-Programmierung	Bauen benutzerdefinierter Werkzeuge und Vorlagen	Prompt-Programmierung ermöglicht neue Ebenen für Context Engineering
Neuronale Feldtheorie	Kontext als neuronales Feld	Modellierung von Kontext als dynamisches neuronales Feld ermöglicht iterative Kontextaktualisierung
Symbolische Mechanismen	Symbolische Architekturen ermöglichen Reasoning höherer Ordnung	Intelligentere Systeme = weniger Arbeit
Quantensemantik	Bedeutung als beobachterabhängig	Entwerfen von Kontextsystemen, die superpositionsartige Techniken nutzen

Von Karpathy + 3Blue1Brown inspirierter Stil

Für Lernende aller Erfahrungsstufen

1. Erste Prinzipien – beginnen Sie mit dem grundlegenden Kontext
2. Iterativ ergänzen – fügen Sie nur hinzu, was dem Modell nachweislich fehlt
3. Alles messen – Token-Kosten, Latenz, Qualitätsbewertung
4. Rücksichtslos löschen – Bereinigung schlägt Auffüllung
5. Code > Folien – jedes Konzept hat eine ausführbare Zelle
6. Alles visualisieren – jedes Konzept wird mit ASCII- und Symboldiagrammen visualisiert

Forschungsevidenz

Gedächtnis + Reasoning

MEM1: Lernen, Gedächtnis und Reasoning für effiziente langfristige Agenten zu synergieren – Singapore-MIT Juni 2025

„Unsere Ergebnisse zeigen das Versprechen einer reasoning-gesteuerten Gedächtniskonsolidierung als skalierbare Alternative zu bestehenden Lösungen für das Training von interaktiven Agenten mit langem Horizont, bei denen sowohl Effizienz als auch Leistung optimiert werden.“ – Singapore-MIT

1. MEM1 trainiert KI-Agenten, nur das Wesentliche zu behalten – indem Gedächtnis und Reasoning bei jedem Schritt verschmolzen werden – sodass sie nie überfordert werden, egal wie lang die Aufgabe ist.

2. **Anstatt endlos Kontext anzuhäufen,