SamuelChien/mega-skills-collection

Workflow zur Optimierung der Agentenleistung

Systematische Verbesserung bestehender Agenten durch Leistungsanalyse, Prompt-Engineering und kontinuierliche Iteration.

[Erweitertes Denken: Die Optimierung von Agenten erfordert einen datengesteuerten Ansatz, der Leistungsmetriken, Benutzerfeedback-Analyse und fortgeschrittene Prompt-Engineering-Techniken kombiniert. Der Erfolg hängt von systematischer Evaluierung, gezielten Verbesserungen und rigorosem Testen mit Rollback-Fähigkeiten für die Produktionssicherheit ab.]

Verwenden Sie diese Fähigkeit, wenn

• Sie die Leistung oder Zuverlässigkeit eines bestehenden Agenten verbessern möchten
• Sie Fehlermodi, Prompt-Qualität oder Tool-Nutzung analysieren
• Sie strukturierte A/B-Tests oder Evaluierungssuiten durchführen
• Sie iterative Optimierungsworkflows für Agenten entwerfen

Verwenden Sie diese Fähigkeit nicht, wenn

• Sie einen brandneuen Agenten von Grund auf neu erstellen
• Keine Metriken, kein Feedback oder keine Testfälle verfügbar sind
• Die Aufgabe nichts mit der Agentenleistung oder Prompt-Qualität zu tun hat

Anweisungen

1. Ermitteln Sie Basismetriken und sammeln Sie repräsentative Beispiele.
2. Identifizieren Sie Fehlermodi und priorisieren Sie Korrekturen mit hoher Auswirkung.
3. Wenden Sie Prompt- und Workflow-Verbesserungen mit messbaren Zielen an.
4. Validieren Sie mit Tests und rollen Sie Änderungen in kontrollierten Phasen aus.

Sicherheit

• Vermeiden Sie die Bereitstellung von Prompt-Änderungen ohne Regressionstests.
• Führen Sie bei Verschlechterung der Qualitäts- oder Sicherheitsmetriken schnell ein Rollback durch.

Phase 1: Leistungsanalyse und Basismetriken

Umfassende Analyse der Agentenleistung unter Verwendung des Kontextmanagers zur Erfassung historischer Daten.

1.1 Leistungsdaten sammeln

Verwenden: context-manager
Befehl: analyze-agent-performance $ARGUMENTS --days 30

Sammeln Sie Metriken, einschließlich:

• Aufgabenerfüllungsrate (erfolgreiche vs. fehlgeschlagene Aufgaben)
• Antwortgenauigkeit und faktische Korrektheit
• Effizienz der Tool-Nutzung (korrekte Tools, Aufruffrequenz)
• Durchschnittliche Antwortzeit und Token-Verbrauch
• Benutzerzufriedenheitsindikatoren (Korrekturen, Wiederholungen)
• Halluzinationsvorfälle und Fehlermuster

1.2 Analyse von Benutzerfeedback-Mustern

Identifizieren Sie wiederkehrende Muster in Benutzerinteraktionen:

• Korrekturmuster: Stellen, an denen Benutzer konsistent Ausgaben modifizieren
• Klärungsanfragen: Häufige Bereiche mit Unklarheiten
• Aufgabenabbruch: Punkte, an denen Benutzer aufgeben
• Folgefragen: Indikatoren für unvollständige Antworten
• Positives Feedback: Erfolgreiche Muster, die beibehalten werden sollten

1.3 Klassifizierung von Fehlermodi

Kategorisieren Sie Fehler nach Ursache:

• Instruktionsmissverständnis: Rollen- oder Aufgabenverwirrung
• Ausgabeformatfehler: Struktur- oder Formatierungsprobleme
• Kontextverlust: Verschlechterung bei langen Gesprächen
• Tool-Fehlgebrauch: Falsche oder ineffiziente Tool-Auswahl
• Einschränkungsverletzungen: Verstöße gegen Sicherheits- oder Geschäftsregeln
• Behandlung von Grenzfällen: Ungewöhnliche Eingabeszenarien

1.4 Basis-Leistungsbericht

Generieren Sie quantitative Basismetriken:

Leistungsbasislinie:
- Aufgabenerfolgsrate: [X%]
- Durchschnittliche Korrekturen pro Aufgabe: [Y]
- Effizienz der Tool-Aufrufe: [Z%]
- Benutzerzufriedenheitspunktzahl: [1-10]
- Durchschnittliche Antwortlatenz: [Xms]
- Token-Effizienz-Verhältnis: [X:Y]

Phase 2: Verbesserungen durch Prompt-Engineering

Wenden Sie fortgeschrittene Prompt-Optimierungstechniken mit dem prompt-engineer-Agenten an.

2.1 Chain-of-Thought-Verbesserung

Implementieren Sie strukturierte Denkmuster:

Verwenden: prompt-engineer
Technik: chain-of-thought-optimization

• Fügen Sie explizite Argumentationsschritte hinzu: "Gehen wir das Schritt für Schritt an..."
• Fügen Sie Selbstüberprüfungspunkte ein: "Bevor Sie fortfahren, überprüfen Sie, ob..."
• Implementieren Sie rekursive Dekomposition für komplexe Aufgaben
• Fügen Sie Sichtbarkeit von Argumentationsspuren zum Debuggen hinzu

2.2 Optimierung von Few-Shot-Beispielen

Kuratieren Sie hochwertige Beispiele aus erfolgreichen Interaktionen:

• Wählen Sie vielfältige Beispiele aus, die häufige Anwendungsfälle abdecken
• Beziehen Sie Grenzfälle ein, die zuvor fehlgeschlagen sind
• Zeigen Sie sowohl positive als auch negative Beispiele mit Erklärungen
• Ordnen Sie Beispiele von einfach bis komplex
• Kommentieren Sie Beispiele mit wichtigen Entscheidungspunkten

Beispielstruktur:

Gutes Beispiel:
Eingabe: [Benutzeranfrage]
Argumentation: [Schritt-für-Schritt-Denkprozess]
Ausgabe: [Erfolgreiche Antwort]
Warum das funktioniert: [Wichtigste Erfolgsfaktoren]

Schlechtes Beispiel:
Eingabe: [Ähnliche Anfrage]
Ausgabe: [Fehlgeschlagene Antwort]
Warum das scheitert: [Spezifische Probleme]
Richtiger Ansatz: [Korrigierte Version]

2.3 Verfeinerung der Rollendefinition

Stärken Sie die Identität und Fähigkeiten des Agenten:

• Kernzweck: Klare, ein-sätzige Mission
• Expertendomänen: Spezifische Wissensbereiche
• Verhaltensmerkmale: Persönlichkeit und Interaktionsstil
• Tool-Kompetenz: Verfügbare Tools und deren Verwendung
• Einschränkungen: Was der Agent NICHT tun sollte
• Erfolgskriterien: Wie der Abschluss einer Aufgabe gemessen wird

2.4 Integration konstitutioneller KI

Implementieren Sie Selbstkorrekturmechanismen:

Konstitutionelle Prinzipien:
1. Überprüfen Sie die faktische Richtigkeit vor der Antwort
2. Selbstprüfung auf potenzielle Vorurteile oder schädliche Inhalte
3. Validieren Sie, ob das Ausgabeformat den Anforderungen entspricht
4. Stellen Sie die Vollständigkeit der Antwort sicher
5. Behalten Sie die Konsistenz mit früheren Antworten bei

Fügen Sie Kritik- und Überarbeitungsschleifen hinzu:

• Generierung der ersten Antwort
• Selbstkritik anhand der Prinzipien
• Automatische Überarbeitung bei festgestellten Problemen
• Abschließende Validierung vor der Ausgabe

2.5 Optimierung des Ausgabeformats

Optimieren Sie die Antwortstruktur:

• Strukturierte Vorlagen für häufige Aufgaben
• Dynamische Formatierung basierend auf Komplexität
• Progressive Offenlegung für detaillierte Informationen
• Markdown-Optimierung für Lesbarkeit
• Code-Block-Formatierung mit Syntaxhervorhebung
• Tabellen- und Listenerstellung zur Datenpräsentation

Phase 3: Testen und Validierung

Umfassendes Testframework mit A/B-Vergleich.

3.1 Entwicklung der Testsuite

Erstellen Sie repräsentative Testszenarien:

Testkategorien:
1. Golden-Path-Szenarien (häufige Erfolgsfälle)
2. Zuvor fehlgeschlagene Aufgaben (Regressionstests)
3. Grenzfälle und Randbereiche
4. Stresstests (komplexe, mehrstufige Aufgaben)
5. Adversarielle Eingaben (potenzielle Bruchpunkte)
6. Domänenübergreifende Aufgaben (Kombination von Fähigkeiten)

3.2 A/B-Testframework

Vergleichen Sie den ursprünglichen mit dem verbesserten Agenten:

Verwenden: parallel-test-runner
Konfiguration:
  - Agent A: Originalversion
  - Agent B: Verbesserte Version
  - Testsatz: 100 repräsentative Aufgaben
  - Metriken: Erfolgsrate, Geschwindigkeit, Token-Nutzung
  - Evaluierung: Blinde menschliche Überprüfung + automatisierte Bewertung

Test auf statistische Signifikanz:

• Mindeststichprobengröße: 100 Aufgaben pro Variante
• Konfidenzniveau: 95 % (p < 0,05)
• Berechnung der Effektstärke (Cohens d)
• Power-Analyse für zukünftige Tests

3.3 Evaluierungsmetriken

Umfassendes Bewertungsframework:

Metriken auf Aufgabenebene:

• Abschlussrate (binärer Erfolg/Fehlschlag)
• Korrektheitsgrad (0-100% Genauigkeit)
• Effizienzgrad (benötigte Schritte vs. optimal)
• Angemessenheit der Tool-Nutzung
• Antwortrelevanz und Vollständigkeit

Qualitätsmetriken:

• Halluzinationsrate (faktische Fehler pro Antwort)
• Konsistenzwert (Übereinstimmung mit vorherigen Antworten)
• Formateinhaltung (entspricht der festgelegten Struktur)
• Sicherheitswert (Einhaltung von Einschränkungen)
• Vorhersage der Benutzerzufriedenheit

Leistungsmetriken:

• Antwortlatenz (Zeit bis zum ersten Token)
• Gesamtgenerierungszeit
• Token-Verbrauch (Eingabe + Ausgabe)
• Kosten pro Aufgabe (API-Nutzungsgebühren)
• Speicher-/Kontexteffizienz

3.4 Protokoll zur menschlichen Evaluierung

Strukturierter menschlicher Überprüfungsprozess:

• Blinde Evaluierung (Evaluatoren kennen die Version nicht)
• Standardisierte Bewertungsmatrix mit klaren Kriterien
• Mehrere Evaluatoren pro Stichprobe (Inter-Rater-Reliabilität)
• Sammlung qualitativen Feedbacks
• Präferenzranking (A vs. B Vergleich)

Phase 4: Versionskontrolle und Bereitstellung

Sicherer Rollout mit Überwachungs- und Rollback-Funktionen.

4.1 Versionsverwaltung

Systematische Versionierungsstrategie:

Versionsformat: agentenname-v[MAJOR].[MINOR].[PATCH]
Beispiel: kundenservice-v2.3.1

MAJOR: Signifikante Änderungen der Fähigkeiten
MINOR: Prompt-Verbesserungen, neue Beispiele
PATCH: Fehlerbehebungen, kleine Anpassungen

Versionshistorie führen:

• Git-basierte Prompt-Speicherung
• Änderungsprotokoll mit Verbesserungsdetails
• Leistungsmetriken pro Version
• Dokumentierte Rollback-Verfahren

4.2 Gestaffelter Rollout

Progressive Bereitstellungsstrategie:

1. Alpha-Tests: Validierung durch internes Team (5 % Traffic)
2. Beta-Tests: Ausgewählte Benutzer (20 % Traffic)
3. Canary-Release: Schrittweise Erhöhung (20 % → 50 % → 100 %)
4. Vollständige Bereitstellung: Nach Erfüllung der Erfolgskriterien
5. Überwachungszeitraum: 7-tägiges Beobachtungsfenster

4.3 Rollback-Verfahren

Mechanismus zur schnellen Wiederherstellung:

Rollback-Auslöser:
- Erfolgsrate sinkt um >10 % gegenüber dem Ausgangswert
- Kritische Fehler nehmen um >5 % zu
- Anzahl der Benutzerbeschwerden steigt
- Kosten pro Aufgabe steigen um >20 %
- Sicherheitsverstöße festgestellt

Rollback-Prozess:
1. Problem durch Überwachung erkennen
2. Team sofort benachrichtigen
3. Auf vorherige stabile Version umschalten
4. Grundursache analysieren
5. Vor erneutem Versuch beheben und erneut testen

4.4 Kontinuierliche Überwachung

Echtzeit-Leistungsverfolgung:

• Dashboard mit Schlüsselmetriken
• Warnungen zur Anomalieerkennung
• Sammlung von Benutzerfeedback
• Automatisierte Regressionstests
• Wöchentliche Leistungsberichte

Erfolgskriterien

Die Agentenverbesserung ist erfolgreich, wenn:

• Die Aufgabenerfolgsrate um ≥15 % steigt
• Die Benutzerkorrekturen um ≥25 % abnehmen
• Keine Zunahme von Sicherheitsverstößen
• Die Antwortzeit innerhalb von 10 % des Ausgangswerts bleibt
• Die Kosten pro Aufgabe nicht um mehr als 5 % steigen
• Das positive Benutzerfeedback zunimmt

Überprüfung nach der Bereitstellung

Nach 30 Tagen Produktionseinsatz:

1. Gesammelte Leistungsdaten analysieren
2. Mit Ausgangswerten und Zielen vergleichen
3. Neue Verbesserungsmöglichkeiten identifizieren
4. Lessons Learned dokumentieren
5. Nächsten Optimierungszyklus planen

Kontinuierlicher Verbesserungszyklus

Etablieren Sie einen regelmäßigen Verbesserungsrhythmus:

• Wöchentlich: Metriken überwachen und Feedback sammeln
• Monatlich: Muster analysieren und Verbesserungen planen
• Vierteljährlich: Hauptversions-Updates mit neuen Funktionen
• Jährlich: Strategische Überprüfung und Aktualisierung der Architektur

Denken Sie daran: Agentenoptimierung ist ein iterativer Prozess. Jeder Zyklus baut auf früheren Erkenntnissen auf und verbessert schrittweise die Leistung, während Stabilität und Sicherheit erhalten bleiben.

Einschränkungen

• Verwenden Sie diese Fähigkeit nur, wenn die Aufgabe eindeutig dem oben beschriebenen Umfang entspricht.
• Behandeln Sie die Ausgabe nicht als Ersatz für umgebungsspezifische Validierung, Tests oder Expertenüberprüfung.
• Halten Sie an und fragen Sie nach Klärung, wenn erforderliche Eingaben, Berechtigungen, Sicherheitsgrenzen oder Erfolgskriterien fehlen.