Harness Engineering
L'ingénierie des harnais conçoit le système de contrôle autour d'un agent : ce qu'il peut modifier, comment il reçoit des retours, où il écrit l'état, comment les échecs sont récupérés et qui peut approuver des actions irréversibles. Le harnais fait la différence entre une session d'agent utile et une boucle autonome qui peut fonctionner pendant des jours sans corrompre son objectif.
Quand activer
Activez cette compétence lorsque :
- Vous créez des boucles autonomes de recherche ou d'expérimentation
- Vous concevez un environnement d'agent avec des métriques verrouillées et du code ou contenu modifiable
- Vous créez des agents producteurs de PR ou des agents d'arrière-plan
- Vous évaluez si un agent peut fonctionner en toute sécurité sans invites humaines fréquentes
- Vous ajoutez de la nouveauté, de l'ablation, de l'élagage, du rollback ou une journalisation durable à un flux de travail d'agent
- Vous empêchez les agents de tricher sur les benchmarks, d'affaiblir les rubriques ou de perdre l'état lors de la compaction
N'activez pas cette compétence pour les travaux connexes gérés par d'autres compétences :
- Portes de qualité générales, suites de régression ou mesures de résultats sans surfaces de contrôle autonomes :
evaluation. - Schémas d'outils, formats de réponse et erreurs de récupération pour les outils de harnais :
tool-design. - Adéquation modèle-tâche au niveau du projet, forme du pipeline et planification des coûts :
project-development. - Infrastructure de bac à sable distant, de pool chaud et de session hébergée :
hosted-agents.
Concepts clés
Limite du harnais
Séparez l'agent de l'environnement dans lequel il opère. L'agent propose des actions ; le harnais définit les surfaces autorisées, les retours, la persistance et les règles de promotion.
Utilisez quatre classes de surface :
| Surface | Exemples | Règle |
|---|---|---|
| Verrouillée | Métrique d'évaluation, rubrique, script de validation, politique de fusion | L'agent peut lire et proposer des modifications, mais ne peut pas s'évaluer lui-même avec des règles modifiées |
| Modifiable | Brouillon de compétence, fichier d'expérience, invite, configuration en cours de test | L'agent peut modifier pendant la boucle |
| Append-only | Journal des résultats, fil de recherche, idées rejetées | L'agent peut ajouter, pas réécrire |
| Contrôle humain | Fusion, déploiement en production, identifiants, opérations destructrices | Nécessite une approbation humaine explicite |
Boucles de rétroaction serrées
L'autonomie fonctionne lorsque les retours sont rapides, sans ambiguïté et difficiles à contourner. Le autoresearch de Karpathy est le modèle minimal : un fichier modifiable, un fichier d'évaluation verrouillé, un budget de temps fixe, une métrique scalaire, un rollback git et un journal des résultats durable. La leçon n'est pas que chaque harnais a besoin d'une métrique ; c'est que des retours ambigus créent une autonomie ambiguë.
Pour les travaux de recherche ouverts vers des compétences, remplacez la métrique scalaire par des rubriques verrouillées, des vérifications de structure déterministes, la traçabilité des sources et des seuils de révision humaine.
État durable
Les agents fonctionnant longtemps doivent externaliser leur état. Stockez les plans, les files d'attente de sources, les résultats, les échecs et les transferts dans des fichiers afin que les futurs agents puissent reprendre sans dépendre de l'historique de la conversation. Le travail autonome nanoGPT de Prime Intellect a montré la valeur des brouillons durables et des journaux de type THREAD.md pour la récupération, la surveillance et l'audit.
Utilisez des journaux append-only pour :
- Ce qui a été essayé
- Ce qui s'est amélioré ou a échoué
- Pourquoi un candidat a été gardé, rejeté ou dirigé vers une révision
- Quelles sources en amont ont été vérifiées
- Ce que le prochain agent devrait faire
Discipline de recherche
Les agents ont tendance à exploiter la surface la plus proche, à empiler la complexité et à sous-utiliser l'élagage. Ajoutez des règles de recherche explicites :
- Actualisez les sources en amont selon un calendrier.
- Exigez des vérifications de nouveauté avant de dépenser de gros budgets.
- Conservez les tentatives rejetées pour éviter de les redécouvrir.
- Effectuez un élagage leave-one-out lorsqu'une pile comporte plusieurs ajouts.
- Récompensez la simplification lorsque la qualité est égale.
- Utilisez une vérification séparée avant la promotion.
Registre des mécanismes
Pour les systèmes de recherche vers compétence, suivez les mécanismes acceptés séparément de la prose. Un enregistrement de mécanisme doit inclure un mechanism_id stable, owning_skill, status, scénario d'activation, changement de comportement, preuve et modes de défaillance. Les portes de nouveauté doivent comparer avec ce registre avant d'utiliser un chevauchement de corpus plus large, car le chevauchement de mots-clés capture des formulations obsolètes tandis que la comparaison de mécanismes capture une duplication réelle.
Gouvernance
Les agents autonomes peuvent préparer des PR, mais la gouvernance doit être explicite. Ils peuvent rédiger des modifications, exécuter des vérifications et rédiger des résumés de PR. Ils ne doivent pas fusionner, déployer ou pousser sans approbation humaine, sauf si l'utilisateur a explicitement accordé cette autorisation pour l'action spécifique.
Sujets détaillés
Boucle de style Autoresearch
Utilisez ce modèle lors de l'optimisation d'un artefact par rapport à un évaluateur stable :
lire le contexte verrouillé -> choisir une hypothèse -> modifier la surface autorisée -> valider/checkpoint
-> exécuter l'évaluateur -> enregistrer le résultat -> garder si meilleur -> jeter ou rollback si pire
-> répéter
Propriétés requises :
- L'évaluateur est en dehors de la surface modifiable.
- La cadence de rétroaction est suffisamment fixe pour comparer les tentatives.
- Les tentatives échouées laissent une piste d'audit.
- Le rollback est peu coûteux.
- L'agent a une politique pour les plantages et les dépassements de délai.
Boucle Recherche vers Compétence
Utilisez ce modèle lorsque les sources deviennent des modifications de compétence :
découvrir -> récupérer -> filtrer -> noter -> extraire le mécanisme
-> mapper à une compétence existante ou nouvelle -> rédiger une proposition -> valider la structure
-> préparer une PR -> révision humaine
L'évaluateur verrouillé est une combinaison de rubriques de source, de rubriques de modification de compétence, de vérifications de structure et d'approbation du relecteur. L'artefact modifiable est le delta proposé de la compétence.
Résistance à la triche métrique
Supposons qu'un agent optimisant apprendra le harnais. Protégez-vous contre :
- La modification du code d'évaluation ou des rubriques, puis l'utilisation de la nouvelle version pour l'auto-approbation
- L'ajout de contenu verbeux qui satisfait un juge mais nuit à l'activation de la compétence
- La citation de sources non récupérées
- L'optimisation des scores agrégés tout en échouant sur une dimension critique
- L'omission des résultats échoués dans le journal
Atténuation : verrouillez les rubriques par exécution, rapportez les scores par dimension, exigez des preuves de récupération de source, conservez les tentatives rejetées et acheminez les modifications de gouvernance vers une révision humaine.
Agents de surveillance
Utilisez des agents de surveillance pour les longues exécutions, mais limitez-les à des rapports en lecture seule, sauf indication contraire explicite. La sortie de surveillance doit rapporter :
- Le meilleur candidat actuel
- Les travaux ou brouillons en cours
- La dernière actualisation en amont
- Les boucles échouées ou obsolètes
- Les incohérences entre les journaux et l'état revendiqué
- La prochaine action et le blocage
Guide pratique
Liste de contrôle de conception du harnais
- Définissez l'objectif en une phrase.
- Identifiez les surfaces verrouillées, modifiables, append-only et contrôlées par l'humain.
- Choisissez le mécanisme de rétroaction : métrique scalaire, rubrique, tests déterministes, révision humaine ou combinaison.
- Définissez les états de conservation, rejet, plantage, dépassement de délai et révision.
- Créez un journal de fil durable avant le démarrage de la boucle.
- Ajoutez des règles d'actualisation des sources, de nouveauté du registre de mécanismes et d'élagage pour les boucles longues.
- Définissez ce que l'agent peut faire sans demander et ce qui nécessite une approbation.
- Validez le harnais sur un artefact connu bon et un artefact connu mauvais.
Structure des fichiers
research-run/
THREAD.md
sources/
queue.md
evaluations/
proposals/
logs/
results.tsv
rejected.md
drafts/
Utilisez TSV ou JSONL pour les journaux append-only lisibles par machine. Utilisez Markdown pour les transferts et les résumés destinés aux relecteurs.
Exemples
Exemple 1 : Métrique verrouillée
Un agent optimise train.py, mais prepare.py possède le chargement des données et l'évaluation. L'agent peut modifier le modèle mais ne peut pas changer la métrique. Les expériences échouées sont journalisées et annulées.
Exemple 2 : Rubrique verrouillée
Un agent évalue un nouvel article technique d'Anthropic ou OpenAI, mais la rubrique de curation des sources est verrouillée pour l'exécution. Si la source réussit, l'agent rédige une proposition de compétence. Il ne peut pas abaisser le seuil de la rubrique pour admettre la source.
Exemple 3 : Auto-PR sans auto-fusion
Un agent prépare une branche et un corps de PR après avoir réussi les vérifications de source, de compétence et de structure. La PR indique les risques non résolus et attend l'approbation humaine pour la fusion.
Directives
- Verrouillez les évaluateurs avant de démarrer la boucle.
- Gardez les surfaces modifiables suffisamment étroites pour des diffs fiables.
- Écrivez des journaux durables avant que la compaction du contexte ne puisse effacer l'état.
- Rapportez les scores par dimension plutôt que uniquement les scores agrégés.
- Exigez la récupération de la source avant la citation.
- Ajoutez des portes de nouveauté pour les recherches larges et des portes d'élagage pour les piles complexes.
- Préférez la simplification lorsque la qualité est égale.
- Séparez la préparation des PR de l'autorité de fusion.
- Revalidez les modifications du harnais avec des évaluateurs anciens et nouveaux.
- Considérez les boucles autonomes arrêtées comme des échecs du harnais, pas comme des caprices de la personnalité de l'agent.
Pièges
- Évaluateur mutable : Si l'agent peut modifier la métrique, il peut optimiser le benchmark au lieu de la tâche. Gardez les rubriques et le code d'évaluation verrouillés pendant l'exécution.
- Mémoire uniquement par chat : Les longues exécutions échouent après compaction lorsque les plans ne vivent que dans l'historique de la conversation. Écrivez des journaux de fil et des fichiers de résultats dès le début.
- Aucun enregistrement des rejets : Sans journaux des tentatives rejetées, les agents répètent des idées échouées. Conservez les échecs avec suffisamment de détails pour éviter la redécouverte.
- Accumulation de complexité : Les agents empilent les modifications et les suppriment rarement. Exigez des cycles d'élagage et récompensez la simplification à qualité égale.
- Revendications prématurées de nouveauté : Les agents qualifient les recombinaisons de nouvelles. Comparez avec les compétences existantes du dépôt, la file d'attente des sources et les journaux rejetés avant de revendiquer la nouveauté.
- Rapports erronés du moniteur : Les agents de surveillance peuvent résumer un état obsolète ou incohérent. Exigez qu'ils citent les fichiers ou journaux derrière les affirmations.
- Ambiguïté de l'approbation humaine : "Préparer une PR" n'est pas "fusionner une PR". Rendez les limites d'approbation explicites dans le harnais.
- Dérive volatile des sources : Les affirmations des laboratoires à évolution rapide vieillissent vite. Mettez des preuves datées dans les références et planifiez une revalidation.
Intégration
Cette compétence se connecte à :
evaluation- Les rubriques et les portes de qualité fournissent la surface de rétroaction verrouilléeadvanced-evaluation- La comparaison par paires et l'atténuation des biais améliorent la révision des propositionsfilesystem-context- Les journaux durables, les brouillons et les fichiers de fil préservent l'étatmulti-agent-patterns- Les agents chercheur, vérificateur, moniteur et rédacteur ont besoin de contextes isoléstool-design- Les outils de harnais doivent exposer des contrats clairs et des erreurs de récupérationproject-development- Les pipelines basés sur des fichiers et l'analyse de l'adéquation modèle-tâche maintiennent les boucles simpleshosted-agents- L'exécution en arrière-plan a besoin de bac à sable, d'instantané et de limites d'approbation
Références
Références internes :
researcher/README.md- À lire lors de l'implémentation du système d'exploitation natif du dépôt pour la recherche vers compétenceresearcher/rubrics/harness-change.md- À lire lors de l'évaluation des modifications d'un harnais d'agentresearcher/runbooks/autonomous-research-loop.md- À lire lors de l'exécution d'une boucle source vers compétence
Ressources externes :
- Karpathy
autoresearch- Boucle d'expérimentation autonome contrainte avec évaluation verrouillée - Prime Intellect autonomous nanoGPT speedrun - Brouillons durables, transferts, surveillance et modes de défaillance d'autonomie
- AlphaEvolve et FunSearch - Candidats générés par LLM associés à des évaluateurs systématiques
- HELM et LM Evaluation Harness - Infrastructure d'évaluation transparente et reproductible
Métadonnées de la compétence
Créé : 2026-05-14 Dernière mise à jour : 2026-05-15 Auteur : Contributeurs Agent Skills for Context Engineering Version : 1.1.0