getedgehq/agent-evals

Évaluations d'agent

Une évaluation répond à une question : l'agent a-t-il fait le travail correctement ? Tout ce qui suit est une façon de poser cette question de manière plus fiable, moins coûteuse et plus fréquente.

Construit à partir de la masterclass sur les évaluations par Alex Lieberman avec Viv (LangChain), 2026 : youtube.com/watch?v=zLeG-XJtbIE. La structure (facile, difficile, mode dieu) est la leur. Les erreurs dans cette compétence sont les nôtres.

Commencez par demander trois choses à l'utilisateur

1. Quel travail réel l'agent effectue-t-il ? Nommez le système qu'il touche (CRM, boîte de réception, dépôt, base de données).
2. Qui dans l'entreprise est le meilleur dans ce travail aujourd'hui ? Leur jugement est la vérité de référence.
3. L'agent est-il déjà en production ? Si oui, les traces sont-elles stockées quelque part ?

Choisissez le mode à partir des réponses. Ne passez pas au mode dieu sans tâches et vérificateurs.

Mode facile : tâches et vérificateurs

Une tâche est une petite partie vérifiable du travail réel. Un vérificateur indique si cette tâche a été correctement effectuée.

1. Écrivez 10 à 30 tâches qui copient ce que font les vrais collègues. Exemples pour un agent commercial :
   • ajouter une note à un enregistrement CRM après un appel
   • trouver un prospect qui n'est pas dans la table évidente
   • rédiger un e-mail de réponse sans l'envoyer
2. Pour chaque tâche, écrivez le vérificateur. Préférez, dans l'ordre :
   • Vérification d'état (un script) : le champ était vide avant et contient la bonne valeur après ; la balise email_sent existe.
   • Liste de contrôle (un modèle ou un humain) : pour tout ce qui n'est pas directement vérifiable, décomposez le « bien » en questions oui/non. « Trois paragraphes ou moins ? » « Utilise les règles de ton de la marque ? »
3. Gardez tout jugement binaire. Les modèles interrogés sur une note de 1 à 10 se regroupent autour de 7 et hésitent. Oui/non ne peut pas hésiter.
4. Obtenez la liste de contrôle de la meilleure personne au travail, par écrit. Exécutez l'agent, examinez un échantillon à la main. Si un résultat passe la liste de contrôle mais semble toujours faux, la liste de contrôle est incomplète. Ajoutez la question manquante.

Résultat du mode facile : un dossier de tâches, chacune avec une instruction et un vérificateur, et un taux de réussite.

Mode difficile : environnements

Un environnement est l'endroit où l'agent effectue le travail : ses fichiers, outils, données et autorisations. N'évaluez jamais avec des données de production. Un agent qui échoue à l'évaluation modifie également le vrai CRM.

1. Construisez une copie qui semble réelle à l'agent : mêmes tables, mêmes outils, enregistrements factices. Conditionnez-la pour qu'elle se réinitialise au même état à chaque exécution (un conteneur est le choix habituel).
2. Une tâche = instruction + environnement + vérificateur. Stockez-les ensemble.
3. Ne créez pas votre propre exécuteur si vous pouvez l'éviter. Harbor (github.com/harbor-framework/harbor) a des formats partagés pour les tâches, les environnements et les vérificateurs, et de nombreuses tâches publiées que vous pouvez adapter.
4. Testez l'environnement lui-même. Votre premier est erroné. Exécutez plusieurs agents ou modèles différents à travers lui et recherchez des schémas étranges :
   • un modèle fort échoue là où un modèle faible réussit
   • un agent trouve la réponse là où elle ne devrait pas être (une ligne d'espace réservé, un fichier divulgué). Les agents prendront tous les raccourcis pour réussir. Supprimez la fuite.
5. Étiquetez chaque tâche par famille (codage, vente, révision de code). Lorsqu'un nouveau modèle sort, exécutez uniquement les familles pour lesquelles il pourrait être bon.
6. Choisissez les modèles avec un tableau, pas une sensation. Exécutez chaque candidat sur les mêmes tâches étiquetées. Enregistrez le taux de réussite, le coût et la vitesse côte à côte. Ensuite, un humain décide : 5 points de précision valent-ils 3 fois le coût pour cette famille ? Les tâches orientées utilisateur justifient généralement le meilleur modèle ; les tâches internes souvent non.

Résultat du mode difficile : une suite d'évaluation que vous pouvez réexécuter sur n'importe quel modèle en une seule commande, avec un tableau de résultats par famille de tâches.

Mode dieu : la boucle d'amélioration

La boucle : l'agent s'exécute, produit des traces, les échecs deviennent de nouvelles tâches, l'agent est corrigé, répétez.

1. Activez le traçage. Une trace est le journal de chaque action : chaque appel d'outil, chaque message, chaque résultat. Personne ne peut prédire ce qu'un agent fera. Tout le monde peut juger ce qu'il a fait.
2. Stockez les traces au même endroit. Pour un développeur unique, les propres journaux de l'agent sur le disque suffisent. Pour une équipe, utilisez un produit de traçage avec des autorisations.
3. Pointez un deuxième agent vers les traces. Son seul travail est de trouver des schémas. Donnez-lui un bref résumé du bon et du mauvais comportement. Demandez-lui :
   • des appels d'outil échoués ou répétés
   • des instructions qu'il a ignorées ou partiellement suivies
   • un chemin erroné récurrent (toujours rechercher la mauvaise table, faire une entreprise quand on lui en demande trois)
4. Transformez chaque échec confirmé en tâche dans la suite d'évaluation, afin qu'il ne puisse jamais revenir silencieusement.
5. Corrigez l'agent, levier le moins cher d'abord :
   • harnais : prompt, descriptions d'outils, ensemble d'outils, choix du modèle
   • réglage fin d'un petit modèle ouvert sur la tâche étroite, une fois que la suite prouve qu'il correspond au grand modèle
6. Gardez un humain sur ce que « bien » signifie. Les agents peuvent proposer des corrections et rédiger des tâches. Un humain décide toujours quelles tâches comptent pour l'entreprise et examine les nouvelles. Écrire cela est la partie la plus importante de la boucle.

Règles

• Pas d'évaluation sans un travail réel nommé. Les benchmarks génériques ne vous disent pas si votre agent fonctionne.
• Vérificateurs binaires uniquement. Divisez tout score en questions oui/non.
• Ne laissez jamais une évaluation toucher aux données de production.
• Une suite que tout réussit est une suite cassée. Vérifiez les fuites.
• Signalez les taux de réussite avec le nombre de tâches à côté (« 21 sur 30 »), jamais un pourcentage nu.