davidkimai/Context-Engineering

Ingénierie de Contexte

« L'ingénierie de contexte est l'art délicat et la science du remplissage de la fenêtre de contexte avec les bonnes informations pour l'étape suivante. » — Andrej Karpathy

Talk « Software Is Changing (Again) » @ YC AI Startup School

DeepGraph

Chat avec NotebookLM + Podcast Deep Dive

Cours Complet en Construction

Revue-Enquête sur l'Ingénierie de Contexte de 1400 Articles de Recherche

Awesome Context Engineering Repo

Opérationnaliser les dernières recherches sur le Contexte avec les Premiers Principes et des Visuels — Juillet 2025 provenant d'ICML, IBM, NeurIPS, OHBM, et plus

« Fournir des "outils cognitifs" à GPT-4.1 augmente sa performance pass@1 sur AIME2024 de 26,7% à 43,3%, le rapprochant très près de la performance de o1-preview. » — IBM Zurich

Commandes d'Agent

Support pour Claude Code | OpenCode | Amp | Kiro | Codex | Gemini CLI

Revue-Enquête sur l'Ingénierie de Contexte de 1400 Articles de Recherche | Pourriture du Contexte | IBM Zurich | Sémantique Quantique | Symboliques Émergentes ICML Princeton | MEM1 Singapore-MIT | Attracteurs LLM Shanghai AI | MemOS Shanghai | Raisonnement Caché | Profondeurs Récursives Dynamiques

Un manuel de pointe, basé sur les premiers principes, pour aller au-delà du prompt engineering vers la discipline plus large de la conception, l'orchestration et l'optimisation du contexte.

                    Prompt Engineering  │  Ingénierie de Contexte
                       ↓                │            ↓                      
               "Ce que vous dites"      │  "Tout le reste que le modèle voit"
             (Instruction unique)        │    (Exemples, mémoire, recherche,
                                        │     outils, état, flux de contrôle)

Définition de l'Ingénierie de Contexte

Le contexte n'est pas simplement le prompt unique que les utilisateurs envoient à un LLM. Le contexte est l'ensemble complet des informations fournies à un LLM au moment de l'inférence, englobant toutes les composantes informationnelles structurées dont le modèle a besoin pour accomplir de manière plausible une tâche donnée.

— Définition de l'Ingénierie de Contexte issue d'une Analyse Systématique de Plus de 1400 Articles de Recherche

╭─────────────────────────────────────────────────────────────╮
│              COURS DE MAÎTRISE EN INGÉNIERIE DE CONTEXTE   │
│                    De Zéro à la Frontière                    │
╰─────────────────────────────────────────────────────────────╯
                          ▲
                          │
                 Fondements Mathématiques
                  C = A(c₁, c₂, ..., cₙ)
                          │
                          ▼
┌─────────────┬──────────────┬──────────────┬─────────────────┐
│ FONDATIONS  │ IMPL. SYSTÈME│ INTÉGRATION  │ FRONTIÈRE       │
│ (Sem. 1-4)  │ (Sem. 5-8)   │ (Sem. 9-10)  │ (Sem. 11-12)    │
└─────┬───────┴──────┬───────┴──────┬───────┴─────────┬───────┘
      │              │              │                 │
      ▼              ▼              ▼                 ▼
┌─────────────┐ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ Modèles     │ │ Systèmes RAG │ │ Multi-Agent  │ │ Méta-Récurs. │
│ Math.       │ │ Arch. Mémoire│ │ Orchestration│ │Sém. Quantique│
│ Composantes │ │ Intégr. Outil│ │ Théorie des  │ │ Auto-Amélior.│
│ Traitement  │ │ Systèmes     │ │ Champs       │ │ Collaboration│
│ Gestion     │ │ d'Agents     │ │ Évaluation   │ │              │
└─────────────┘ └──────────────┘ └──────────────┘ └──────────────┘

Pourquoi Ce Référentiel Existe

« La signification n'est pas une propriété intrinsèque et statique d'une expression sémantique, mais plutôt un phénomène émergent. » — Agostino et al. — Juillet 2025, Université de l'Indiana

Le prompt engineering a reçu toute l'attention, mais nous pouvons désormais nous enthousiasmer pour ce qui vient ensuite. Une fois que vous maîtrisez les prompts, la véritable puissance réside dans l'ingénierie de l'ensemble de la fenêtre de contexte qui entoure ces prompts. Guider la pensée, en quelque sorte.

Ce référentiel propose une approche progressive, basée sur les premiers principes, de l'ingénierie de contexte, construite autour d'une métaphore biologique :

atomes → molécules → cellules → organes → systèmes neuronaux → théorie des champs neuronaux & sémantiques 
  │        │         │         │             │                         │        
prompt   few-      mémoire + multi-     outils cognitifs +    contexte = champs +
simple   shot      agents    agents   systèmes d'exploitation   persistance & résonance

« L'abstraction est le coût de la généralisation » — Grant Sanderson (3Blue1Brown)

A Survey of Context Engineering - Juillet 2025

Sur l'Émergence, les Attracteurs et la Théorie des Systèmes Dynamiques | Théorie des Systèmes Dynamiques - Columbia

https://github.com/user-attachments/assets/9f046259-e5ec-4160-8ed0-41a608d8adf3

graph TD
    classDef basic fill:#e1f5fe,stroke:#01579b,stroke-width:2px,color:#01579b
    classDef intermediate fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px,color:#2e7d32
    classDef advanced fill:#fff3e0,stroke:#e65100,stroke-width:2px,color:#e65100
    classDef meta fill:#f3e5f5,stroke:#6a1b9a,stroke-width:2px,color:#6a1b9a
    
    subgraph Basic["Niveau 1 : Ingénierie de Contexte de Base"]
        A[Atomes]
        B[Molécules]
        C[Cellules]
        D[Organes]
    end
    
    subgraph Field["Niveau 2 : Théorie des Champs"]
        E[Systèmes Neuronaux]
        F[Champs Neuronaux]
    end
    
    subgraph Protocol["Niveau 3 : Système de Protocole"]
        G[Coques de Protocole]
        H[Système Unifié]
    end
    
    subgraph Meta["Niveau 4 : Méta-Récursion"]
        I[Cadre Méta-Récursif]
    end
    
    %% Connexions
    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> I
    
    %% Descriptions pour chaque niveau
    A1["Instructions uniques<br>Contraintes simples<br>Prompts de base"] --> A
    B1["Paires d'exemples<br>Patterns few-shot<br>Ensembles de démonstration"] --> B
    C1["Mémoire persistante<br>Gestion d'état<br>Fenêtre de contexte"] --> C
    D1["Flux multi-étapes<br>Spécialistes<br>Orchestration système"] --> D
    E1["Cadres de raisonnement<br>Outils de vérification<br>Patterns cognitifs"] --> E
    F1["Signification continue<br>Attracteurs & résonance<br>Résidu symbolique"] --> F
    G1["Modèles structurés<br>Opérations de champ<br>Protocoles d'émergence"] --> G
    H1["Intégration de protocole<br>Émergence au niveau système<br>Auto-maintenance"] --> H
    I1["Auto-réflexion<br>Amélioration récursive<br>Évolution interprétable"] --> I
    
    %% Parallèles concrets
    A2["Comme : Ingénierie de<br>prompt de base"] -.-> A
    B2["Comme : Apprentissage<br>few-shot"] -.-> B
    C2["Comme : Chatbots<br>conversationnels"] -.-> C
    D2["Comme : Systèmes<br>multi-agents"] -.-> D
    E2["Comme : ReAct<br>Chaîne-de-Pensée"] -.-> E
    F2["Comme : Théorie des<br>champs sémantiques"] -.-> F
    G2["Comme : Orchestration<br>par protocole"] -.-> G
    H2["Comme : Systèmes<br>auto-organisés"] -.-> H
    I2["Comme : Intelligence<br>auto-améliorante"] -.-> I
    
    %% Appliquer les classes
    class A,B,C,D,A1,A2,B1,B2,C1,C2,D1,D2 basic
    class E,F,E1,E2,F1,F2 intermediate
    class G,H,G1,G2,H1,H2 advanced
    class I,I1,I2 meta

Démarrage Rapide

1. Lisez 00_foundations/01_atoms_prompting.md (5 min)
   Comprenez pourquoi les prompts seuls sont souvent sous-performants

2. Exécutez 10_guides_zero_to_hero/01_min_prompt.py (style Jupyter Notebook) Expérimentez avec un exemple minimal fonctionnel

3. Explorez 20_templates/minimal_context.yaml
   Copiez/collez un modèle dans votre propre projet

4. Étudiez 30_examples/00_toy_chatbot/
   Voyez une implémentation complète avec gestion de contexte

Parcours d'Apprentissage

┌─────────────────┐     ┌──────────────────┐     ┌────────────────┐
│ 00_foundations/ │     │ 10_guides_zero_  │     │ 20_templates/  │
│                 │────▶│ to_one/          │────▶│                │
│ Théorie et      │     │ Pas-à-pas        │     │ Extraits       │
│ concepts clés   │     │ pratiques        │     │ copiables      │
└─────────────────┘     └──────────────────┘     └────────────────┘
         │                                                │
         │                                                │
         ▼                                                ▼
┌─────────────────┐                             ┌────────────────┐
│ 40_reference/   │◀───────────────────────────▶│ 30_examples/   │
│                 │                             │                │
│ Plongées        │                             │ Projets réels, │
│ approfondies &  │                             │ progressivement│
│ livre de recettes│                            │ complexes      │
│ d'évaluation    │                             │                │
└─────────────────┘                             └────────────────┘
         ▲                                      
         │                                                ▲
         │                                                │
         └────────────────────┐               ┌───────────┘
                              ▼               ▼
                         ┌─────────────────────┐
                         │ 50_contrib/         │
                         │                     │
                         │ Contributions       │
                         │ de la communauté    │
                         └─────────────────────┘

Ce Que Vous Apprendrez

Concept	Ce Que C'Est	Pourquoi C'Est Important
Budget de Tokens	Optimiser chaque token de votre contexte	Plus de tokens = plus de $$ et des réponses plus lentes
Apprentissage Few-Shot	Enseigner en montrant des exemples	Souvent plus efficace que l'explication seule
Systèmes de Mémoire	Persister les informations entre les tours	Permet des interactions étatiques et cohérentes
Augmentation par Récupération	Trouver et injecter des documents pertinents	Ancre les réponses dans les faits, réduit les hallucinations
Flux de Contrôle	Décomposer les tâches complexes en étapes	Résoudre des problèmes plus difficiles avec des prompts plus simples
Élagage de Contexte	Supprimer les informations non pertinentes	Garder uniquement ce qui est nécessaire à la performance
Métriques & Évaluation	Mesurer l'efficacité du contexte	Optimisation itérative de l'utilisation des tokens vs. la qualité
Outils Cognitifs & Programmation par Prompts	Apprendre à construire des outils et modèles personnalisés	La programmation par prompts permet de nouvelles couches pour l'ingénierie de contexte
Théorie des Champs Neuronaux	Le contexte comme un Champ Neuronal	Modéliser le contexte comme un champ neuronal dynamique permet une mise à jour itérative du contexte
Mécanismes Symboliques	Les architectures symboliques permettent un raisonnement d'ordre supérieur	Des systèmes plus intelligents = moins de travail
Sémantique Quantique	La signification comme dépendante de l'observateur	Concevoir des systèmes de contexte exploitant des techniques de superposition

Style Inspiré de Karpathy + 3Blue1Brown

Pour les apprenants de tous niveaux d'expérience

1. Premiers principes – commencer par le contexte fondamental
2. Ajouts itératifs – n'ajouter que ce qui manque manifestement au modèle
3. Tout mesurer – coût en tokens, latence, score de qualité
4. Supprimer impitoyablement – l'élagage bat le remplissage
5. Le code > les diapositives – chaque concept a une cellule exécutable
6. Tout visualiser — chaque concept est visualisé avec des diagrammes ASCII et symboliques

Preuves de Recherche

Mémoire + Raisonnement

MEM1 : Apprendre à Synergiser Mémoire et Raisonnement pour des Agents Efficaces à Long Terme - Singapore-MIT Juin 2025

« Nos résultats démontrent la promesse de la consolidation de mémoire pilotée par le raisonnement comme une alternative évolutive aux solutions existantes pour former des agents interactifs à long terme, où l'efficacité et la performance sont optimisées. » — Singapore-MIT

1. MEM1 entraîne les agents IA à ne garder que ce qui compte — fusionnant la mémoire et le raisonnement à chaque étape — afin qu'ils ne soient jamais submergés, quelle que soit la durée de la tâche.

2. **Au lieu d'accumuler un contexte sans fin...