Was macht agent-eval-ops-coach?
Portable Codex-Fähigkeit für Langfuse-Evaluierungsvorgänge, Experimentdurchläufe, Attributionsanalyse und evidenzbasierte Agenteniteration.
Übersicht
Dieser Skill bietet eine strukturierte Möglichkeit, KI-Agentenverhalten mithilfe von Langfuse zu evaluieren und zu verbessern. Er erfasst Metriken, führt Attributionsanalysen durch und unterstützt experimentelle Durchläufe, um fundierte Entscheidungen zu treffen.
Funktionen
- Evaluierungsvorgänge: Automatisierte Durchführung von Tests und Sammlung von Metriken.
- Experimentdurchläufe: Isolierte Testszenarien für gezielte Verbesserungen.
- Attributionsanalyse: Rückverfolgung von Ursachen für Agentenverhalten.
- Evidenzbasierte Iteration: Nutzung von Daten zur Steuerung von Anpassungen.
Installation
- Stelle sicher, dass Codex und Langfuse eingerichtet sind.
- Klone das Repository
Shire31/agent-eval-ops-coach. - Installiere Abhängigkeiten mit
pip install -r requirements.txt.
Verwendung
Beispiel: Ausführen eines Experiments
codex run --eval experiment_name --config config.yaml
Konfiguration
Erstelle eine Datei config.yaml mit folgenden Parametern:
eval:
metric: accuracy
dataset: path/to/dataset.csv
langfuse_project: my_project
Ausgabe
Die Ergebnisse werden in einem strukturierten Bericht gespeichert:
{
"experiment_id": "123",
"metrics": {
"accuracy": 0.95
},
"attribution": "..."
}
Integration mit Langfuse
Der Skill nutzt die Langfuse API zur Verfolgung von Metriken und Attributionsdaten. Stelle sicher, dass die Umgebungsvariable LANGFUSE_API_KEY gesetzt ist.
Lizenz
MIT