Codex verwaltet einen Kontext (Nachrichtenverlauf), der bei Inferenzanfragen an das Modell gesendet wird.
- Keine Umschreibung des Verlaufs – der Kontext muss inkrementell aufgebaut werden.
- Vermeide häufige Änderungen am Kontext, die Cache-Fehlschläge verursachen.
- Keine unbegrenzten Elemente – alles, was in den Modellkontext eingefügt wird, muss eine begrenzte Größe und eine harte Obergrenze haben.
- Keine Elemente größer als 10K Tokens.
- Markiere neue einzelne Elemente, die >1K Token überschreiten, als P0. Diese benötigen eine zusätzliche manuelle Überprüfung.
- Alle eingefügten Fragmente müssen als Strukturen in
core/contextdefiniert sein und dasContextualUserFragment-Trait implementieren.