Was macht trajectory-replay-demo?
Zeichnet Agent-Tool-Aufrufverläufe in SQLite auf und gibt sie gegen ein anderes Modell/Prompt für kostengünstige A/B-Tests wieder. Misst die Planungsqualität ohne frische API-Aufrufe zu verbrennen.
Quelle: https://github.com/fr3kchy/trajectory-replay-demo
Entdeckt aus GitHub-Repositories, die in den letzten 24 Stunden für Agent-Fähigkeiten, Claude/Codex/Gemini-Workflows, MCP-Tooling und angrenzende KI-Agenten-Automatisierung gepusht wurden.
Beschreibung
Dieses Tool zeichnet die Tool-Aufrufverläufe (Trajectories) eines KI-Agenten in einer SQLite-Datenbank auf und ermöglicht es, diese Aufzeichnungen mit einem anderen Modell oder Prompt wiederzugeben. Es erlaubt kostengünstige A/B-Tests, um die Planungsqualität verschiedener Konfigurationen zu vergleichen, ohne dafür neue API-Aufrufe zu tätigen.
Funktionen
- Aufzeichnung von Tool-Aufrufverläufen eines Agenten
- Speicherung in einer lokalen SQLite-Datenbank
- Wiedergabe der Verläufe mit anderen Modellen oder Prompts
- Vergleich der Planungsqualität durch Metriken
- Keine zusätzlichen API-Kosten für Tests
Verwendung
-
Klonen Sie das Repository:
git clone https://github.com/fr3kchy/trajectory-replay-demo cd trajectory-replay-demo -
Führen Sie die Aufzeichnung eines Agentenverlaufs aus (Details in der Repository-Dokumentation).
-
Starten Sie die Wiedergabe mit einer anderen Modellkonfiguration oder einem anderen Prompt, um die Ergebnisse zu vergleichen.
Voraussetzungen
- Python 3.8 oder höher
- SQLite (in der Regel vorinstalliert)
- Zugriff auf API-Schlüssel für die zu testenden Modelle
Lizenz
Siehe LICENSE-Datei im Repository.