Was macht hermes-agent-metaharness?
Optimieren Sie die Qualität von LLM-Systemen mit diesem äußeren Meta-Harness zur Automatisierung der Suche, Bewertung und Mutation von Agenten-Benchmarking-Code.
Beschreibung
Dieses Skill bietet eine äußere Meta-Schleife, die wiederholt Benchmarking-Code für LLM-Agenten sucht, bewertet und mutiert. Es ermöglicht eine automatisierte Optimierung von Konfigurationen, Prompts und Logik, um die Systemqualität zu verbessern. Der Ansatz ist besonders nützlich für die Entwicklung von Agenten, die auf Frameworks wie Claude Code, Cursor oder Codex basieren.
Hauptmerkmale
- Automatisierte Suche: Durchsucht Code-Benchmarks nach Optimierungspotenzial.
- Bewertung: Führt Metriken aus, um die aktuelle Leistung zu messen.
- Mutation: Wendet zufällige oder gezielte Änderungen an, um neue Konfigurationen zu testen.
- Integration: Funktioniert mit gängigen LLM-Agenten-Tools und Development-Umgebungen.
Verwendung
- Richten Sie das Skill in Ihrem Projekt ein (z. B. in Claude Code, Cursor oder Codex).
- Definieren Sie Ihre Benchmarking-Ziele und Metriken in der Konfigurationsdatei.
- Führen Sie die Meta-Schleife aus, um iterativ Verbesserungen zu generieren und zu validieren.
Beispiel
# Führen Sie die Meta-Schleife aus
meta-harness run --config config.yaml
Voraussetzungen
- Python 3.8 oder höher
- LLM-Agenten-Framework (z. B. Claude Code, Cursor, Codex)
- Benchmarking-Datensatz oder -Skript
Lizenz
Dieses Skill wird unter der MIT-Lizenz bereitgestellt. Siehe LICENSE für Details.