Was macht Harness-Engineering?
Harness Engineering entwirft das Steuerungssystem um einen Agenten: was er bearbeiten darf, wie er Rückmeldung erhält, wo er Zustand ablegt, wie Fehler behoben werden und wer irreversible Aktionen genehmigen kann. Die Harness ist der Unterschied zwischen einer hilfreichen Agenten-Sitzung und einer autonomen Schleife, die tagelang laufen kann, ohne ihr Ziel zu verfälschen.
Wann aktivieren
Aktivieren Sie dieses Skill, wenn:
- Autonome Forschungs- oder Experimentierschleifen gebaut werden
- Eine Agentenumgebung mit gesperrten Metriken und bearbeitbarem Code oder Inhalt entworfen wird
- PR-erstellende oder Hintergrundagenten erstellt werden
- Bewertet werden soll, ob ein Agent sicher ohne häufige menschliche Aufforderungen laufen kann
- Neuheit, Ablation, Bereinigung, Rollback oder dauerhafte Protokollierung zu einem Agenten-Workflow hinzugefügt werden
- Verhindert werden soll, dass Agenten Benchmarks manipulieren, Rubriken schwächen oder Zustand über Kompaktierungen hinweg verlieren
Aktivieren Sie dieses Skill nicht für angrenzende Arbeiten, die von anderen Skills abgedeckt werden:
- Allgemeine Qualitätsgatter, Regressionssuites oder Ergebnismetriken ohne autonome Steuerungsoberflächen:
evaluation. - Werkzeugschemata, Antwortformate und Wiederherstellungsfehler für Harness-Werkzeuge:
tool-design. - Aufgabenmodell-Passung auf Projektebene, Pipeline-Form und Kostenplanung:
project-development. - Remote-Sandbox, Warm-Pool und gehostete Sitzungsinfrastruktur:
hosted-agents.
Kernkonzepte
Harness-Grenze
Trennen Sie den Agenten von der Umgebung, in der er arbeitet. Der Agent schlägt Aktionen vor; die Harness definiert erlaubte Oberflächen, Rückmeldungen, Persistenz und Beförderungsregeln.
Verwenden Sie vier Oberflächenklassen:
| Oberfläche | Beispiele | Regel |
|---|---|---|
| Gesperrt (Locked) | Eval-Metrik, Rubrik, Validierungsskript, Merge-Richtlinie | Agent darf lesen und Änderungen vorschlagen, kann sich aber nicht mit geänderten Regeln selbst bewerten |
| Bearbeitbar (Editable) | Skill-Entwurf, Experimentdatei, Prompt, zu testende Konfiguration | Agent darf während der Schleife mutieren |
| Nur Anhängen (Append-only) | Ergebnisprotokoll, Forschungsthread, abgelehnte Ideen | Agent darf anhängen, nicht überschreiben |
| Menschlich gesteuert (Human-controlled) | Merge, Produktionsdeployment, Anmeldeinformationen, zerstörerische Operationen | Erfordert explizite menschliche Genehmigung |
Enge Rückkopplungsschleifen
Autonomie funktioniert, wenn Rückmeldungen schnell, eindeutig und schwer zu umgehen sind. Karpathys autoresearch ist das minimale Muster: eine bearbeitbare Datei, eine gesperrte Evaluationsdatei, ein festes Wanduhr-Budget, eine skalare Metrik, Git-Rollback und ein dauerhaftes Ergebnisprotokoll. Die Lektion ist nicht, dass jede Harness eine Metrik braucht; es ist, dass mehrdeutige Rückmeldungen mehrdeutige Autonomie erzeugen.
Für ergebnisoffene Forschungs-zu-Skill-Arbeiten ersetzen Sie die skalare Metrik durch gesperrte Rubriken, deterministische Strukturprüfungen, Quellrückverfolgbarkeit und menschliche Überprüfungsschwellen.
Dauerhafter Zustand
Langlaufende Agenten müssen Zustand externalisieren. Speichern Sie Pläne, Quellenwarteschlangen, Ergebnisse, Fehler und Übergaben in Dateien, damit zukünftige Agenten fortfahren können, ohne sich auf den Chatverlauf zu verlassen. Prime Intellects autonome nanoGPT-Arbeit hat den Wert von dauerhaften Notizblöcken und THREAD.md-ähnlichen Protokollen für Wiederherstellung, Überwachung und Prüfung gezeigt.
Verwenden Sie Nur-Anhängen-Protokolle für:
- Was versucht wurde
- Was sich verbessert oder fehlgeschlagen ist
- Warum ein Kandidat behalten, verworfen oder zur Überprüfung weitergeleitet wurde
- Welche vorgelagerten Quellen überprüft wurden
- Was der nächste Agent tun soll
Suchdisziplin
Agenten neigen dazu, die nächste Oberfläche auszubeuten, Komplexität zu stapeln und Bereinigung zu vernachlässigen. Fügen Sie explizite Suchregeln hinzu:
- Erneuern Sie vorgelagerte Quellen nach einem Zeitplan.
- Fordern Sie Neuheitsprüfungen, bevor große Budgets ausgegeben werden.
- Bewahren Sie abgelehnte Versuche auf, um Wiederentdeckungen zu vermeiden.
- Führen Sie Leave-One-Out-Bereinigung durch, wenn ein Stapel mehrere Ergänzungen enthält.
- Belohnen Sie Vereinfachung, wenn die Qualität gleich ist.
- Verwenden Sie separate Verifizierung vor der Beförderung.
Mechanismus-Register
Für Forschungs-zu-Skill-Systeme verfolgen Sie akzeptierte Mechanismen getrennt von Prosa. Ein Mechanismus-Datensatz sollte eine stabile mechanism_id, owning_skill, status, Aktivierungsszenario, Verhaltensänderung, Nachweise und Fehlermodi enthalten. Neuheitsgatter sollten gegen dieses Register vergleichen, bevor sie einen breiteren Korpusabgleich verwenden, weil Schlüsselwortüberlappungen veraltete Formulierungen erfassen, während Mechanismusvergleiche echte Duplikation erfassen.
Governance
Autonome Agenten können PRs vorbereiten, aber Governance muss explizit sein. Sie können Änderungen entwerfen, Prüfungen ausführen und PR-Zusammenfassungen schreiben. Sie sollten nicht mergen, deployen oder pushen ohne menschliche Genehmigung, es sei denn, der Benutzer hat diese Berechtigung explizit für die bestimmte Aktion erteilt.
Detaillierte Themen
Autoresearch-ähnliche Schleife
Verwenden Sie dieses Muster beim Optimieren eines Artefakts gegen einen stabilen Evaluator:
gesperrten Kontext lesen -> Hypothese wählen -> erlaubte Oberfläche bearbeiten -> committen/checkpointen
-> Evaluator ausführen -> Ergebnis protokollieren -> behalten, wenn besser -> verwerfen oder Rollback, wenn schlechter
-> wiederholen
Erforderliche Eigenschaften:
- Der Evaluator befindet sich außerhalb der bearbeitbaren Oberfläche.
- Die Rückkopplungsfrequenz ist fest genug, um Versuche zu vergleichen.
- Fehlgeschlagene Versuche hinterlassen eine Prüfspur.
- Rollback ist billig.
- Der Agent hat eine Richtlinie für Abstürze und Zeitüberschreitungen.
Forschungs-zu-Skill-Schleife
Verwenden Sie dieses Muster, wenn Quellen zu Skill-Änderungen werden:
entdecken -> abrufen -> gattern -> bewerten -> Mechanismus extrahieren
-> bestehendem oder neuem Skill zuordnen -> Vorschlag entwerfen -> Struktur validieren
-> PR vorbereiten -> menschliche Überprüfung
Der gesperrte Evaluator ist eine Kombination aus Quellrubriken, Skill-Änderungsrubriken, Strukturprüfungen und Prüfergenehmigung. Das bearbeitbare Artefakt ist die vorgeschlagene Skill-Differenz.
Metrik-Gaming-Resistenz
Gehen Sie davon aus, dass ein optimierender Agent die Harness lernen wird. Schützen Sie sich gegen:
- Bearbeiten von Evaluationscode oder Rubriken und anschließende Verwendung der neuen Version zur Selbstgenehmigung
- Hinzufügen von ausführlichem Inhalt, der einen Richter zufriedenstellt, aber die Skill-Aktivierung beeinträchtigt
- Zitieren nicht abgerufener Quellen
- Optimieren von Aggregatwerten, während eine kritische Dimension fehlschlägt
- Auslassen fehlgeschlagener Ergebnisse im Protokoll
Abschwächung: Rubriken pro Lauf sperren, Ergebnisse pro Dimension melden, Quellabrufnachweise verlangen, abgelehnte Versuche aufbewahren und Governance-Änderungen zur menschlichen Überprüfung weiterleiten.
Überwachungsagenten
Verwenden Sie Überwachungsagenten für lange Läufe, beschränken Sie sie jedoch auf schreibgeschützte Berichterstattung, es sei denn, sie werden ausdrücklich anders beauftragt. Die Überwachungsausgabe sollte berichten:
- Bester aktueller Kandidat
- Aktive Aufträge oder Entwürfe
- Letzte Aktualisierung der Quellen
- Fehlgeschlagene oder veraltete Schleifen
- Diskrepanzen zwischen Protokollen und behauptetem Zustand
- Nächste Aktion und Blocker
Praktische Anleitung
Harness-Design-Checkliste
- Definieren Sie das Ziel in einem Satz.
- Identifizieren Sie gesperrte, bearbeitbare, Nur-Anhängen und menschlich gesteuerte Oberflächen.
- Wählen Sie den Rückkopplungsmechanismus: skalare Metrik, Rubrik, deterministische Tests, menschliche Überprüfung oder Kombination.
- Definieren Sie die Zustände „Behalten", „Verwerfen", „Absturz", „Zeitüberschreitung" und „Überprüfung".
- Erstellen Sie ein dauerhaftes Thread-Protokoll, bevor die Schleife startet.
- Fügen Sie Quellaktualisierung, Mechanismus-Register-Neuheit und Bereinigungsregeln für langlaufende Schleifen hinzu.
- Definieren Sie, was der Agent ohne Rückfrage tun darf und was Genehmigung erfordert.
- Validieren Sie die Harness an einem bekannten guten und einem bekannten schlechten Artefakt.
Dateilayout
research-run/
THREAD.md
sources/
queue.md
evaluations/
proposals/
logs/
results.tsv
rejected.md
drafts/
Verwenden Sie TSV oder JSONL für Nur-Anhängen, maschinenlesbare Protokolle. Verwenden Sie Markdown für Übergaben und prüferorientierte Zusammenfassungen.
Beispiele
Beispiel 1: Gesperrte Metrik
Ein Agent optimiert train.py, aber prepare.py besitzt das Datenladen und die Evaluierung. Der Agent kann das Modell bearbeiten, aber nicht die Metrik ändern. Fehlgeschlagene Experimente werden protokolliert und zurückgesetzt.
Beispiel 2: Gesperrte Rubrik
Ein Agent bewertet einen neuen technischen Beitrag von Anthropic oder OpenAI, aber die Quellkuratierungsrubrik ist für den Lauf gesperrt. Wenn die Quelle besteht, entwirft der Agent einen Skill-Vorschlag. Er kann die Rubrikenschwelle nicht senken, um die Quelle zuzulassen.
Beispiel 3: Auto-PR ohne Auto-Merge
Ein Agent bereitet einen Branch und PR-Body vor, nachdem Quelle, Skill und Strukturprüfungen bestanden wurden. Der PR listet ungelöste Risiken auf und wartet auf die menschliche Merge-Genehmigung.
Richtlinien
- Sperren Sie Evaluatoren, bevor die Schleife startet.
- Halten Sie bearbeitbare Oberflächen eng genug für zuverlässige Diffs.
- Schreiben Sie dauerhafte Protokolle, bevor Kontextkompaktierung den Zustand löscht.
- Melden Sie Ergebnisse pro Dimension anstatt nur Aggregatwerte.
- Fordern Sie Quellabruf vor dem Zitieren an.
- Fügen Sie Neuheitsgatter für breite Suche und Bereinigungsgatter für komplexe Stapel hinzu.
- Bevorzugen Sie Vereinfachung, wenn die Qualität gleich ist.
- Trennen Sie PR-Vorbereitung von Merge-Befugnis.
- Revalidieren Sie Harness-Änderungen mit alten und neuen Evaluatoren.
- Behandeln Sie gestoppte autonome Schleifen als Harness-Fehler, nicht als Agenten-Persönlichkeitsmerkmale.
Fallstricke
- Veränderlicher Evaluator: Wenn der Agent die Metrik bearbeiten kann, optimiert er möglicherweise den Benchmark anstatt die Aufgabe. Halten Sie Rubriken und Eval-Code während des Laufs gesperrt.
- Nur-Chat-Speicher: Lange Läufe schlagen nach Kompaktierung fehl, wenn Pläne nur im Gesprächsverlauf existieren. Schreiben Sie Thread-Protokolle und Ergebnisdateien von Anfang an.
- Kein Verwerfungsprotokoll: Ohne Protokolle abgelehnter Versuche wiederholen Agenten fehlgeschlagene Ideen. Bewahren Sie Fehler mit genügend Details auf, um Wiederentdeckung zu vermeiden.
- Komplexitätsakkretion: Agenten stapeln Änderungen und entfernen sie selten. Fordern Sie Bereinigungsrunden und belohnen Sie gleichwertige Vereinfachung.
- Verfrühte Neuheitsbehauptungen: Agenten bezeichnen Rekombinationen als neu. Vergleichen Sie mit bestehenden Repo-Skills, Quellenwarteschlange und abgelehnten Protokollen, bevor Sie Neuheit beanspruchen.
- Falschberichterstattung durch Überwachung: Überwachungsagenten können veralteten oder inkonsistenten Zustand zusammenfassen. Fordern Sie sie auf, die Dateien oder Protokolle hinter Behauptungen zu zitieren.
- Mehrdeutigkeit der menschlichen Genehmigung: „Einen PR vorbereiten" ist nicht „einen PR mergen". Machen Sie Genehmigungsgrenzen in der Harness explizit.
- Flüchtige Quellendrift: Schnelllebige Laborbehauptungen veralten schnell. Setzen Sie datierte Nachweise in Referenzen und planen Sie Neuvalidierung.
Integration
Dieses Skill verbindet sich mit:
- evaluation – Rubriken und Qualitätsgatter stellen die gesperrte Rückkopplungsoberfläche bereit
- advanced-evaluation – Paarweiser Vergleich und Bias-Minderung verbessern die Vorschlagsüberprüfung
- filesystem-context – Dauerhafte Protokolle, Notizblöcke und Thread-Dateien bewahren den Zustand
- multi-agent-patterns – Forscher-, Verifizierer-, Überwachungs- und Schreiberagenten benötigen isolierte Kontexte
- tool-design – Harness-Werkzeuge müssen klare Verträge und Wiederherstellungsfehler offenlegen
- project-development – Dateibasierte Pipelines und Aufgabenmodell-Passungsanalyse halten Schleifen einfach
- hosted-agents – Hintergrundausführung benötigt Sandbox, Snapshot und Genehmigungsgrenzen
Referenzen
Interne Referenzen:
researcher/README.md– Lesen bei der Implementierung des repo-eigenen Forschungs-zu-Skill-Betriebssystemsresearcher/rubrics/harness-change.md– Lesen bei der Bewertung von Änderungen an einer Agent-Harnessresearcher/runbooks/autonomous-research-loop.md– Lesen beim Ausführen einer Quelle-zu-Skill-Schleife
Externe Ressourcen:
- Karpathy
autoresearch– Eingeschränkte autonome Experimentierschleife mit gesperrter Evaluierung - Prime Intellect autonomes nanoGPT-Speedrun – Dauerhafte Notizblöcke, Übergaben, Überwachung und Autonomie-Fehlermodi
- AlphaEvolve und FunSearch – LLM-generierte Kandidaten gepaart mit systematischen Evaluatoren
- HELM und LM Evaluation Harness – Transparente, reproduzierbare Evaluierungsinfrastruktur
Skill-Metadaten
Erstellt: 2026-05-14 Zuletzt aktualisiert: 2026-05-15 Autor: Agent Skills for Context Engineering Contributors Version: 1.1.0