Workflow d'Optimisation des Performances d'Agent
Amélioration systématique des agents existants par l'analyse des performances, l'ingénierie des prompts et l'itération continue.
[Réflexion approfondie : L'optimisation d'un agent nécessite une approche basée sur les données combinant des métriques de performance, l'analyse des retours utilisateurs, et des techniques avancées d'ingénierie des prompts. Le succès repose sur une évaluation systématique, des améliorations ciblées, et des tests rigoureux avec capacité de rollback pour la sécurité en production.]
Utiliser ce skill lorsque
- Vous améliorez les performances ou la fiabilité d'un agent existant
- Vous analysez les modes de défaillance, la qualité des prompts, ou l'utilisation des outils
- Vous exécutez des tests A/B structurés ou des suites d'évaluation
- Vous concevez des workflows d'optimisation itératifs pour des agents
Ne pas utiliser ce skill lorsque
- Vous construisez un tout nouvel agent à partir de zéro
- Il n'y a pas de métriques, de retours, ou de cas de test disponibles
- La tâche est sans rapport avec les performances de l'agent ou la qualité des prompts
Instructions
- Établir des métriques de base et collecter des exemples représentatifs.
- Identifier les modes de défaillance et prioriser les correctifs à fort impact.
- Appliquer des améliorations de prompt et de workflow avec des objectifs mesurables.
- Valider avec des tests et déployer les changements par étapes contrôlées.
Sécurité
- Éviter de déployer des modifications de prompt sans tests de régression.
- Revenir en arrière rapidement si les métriques de qualité ou de sécurité régressent.
Phase 1 : Analyse des Performances et Métriques de Base
Analyse complète des performances de l'agent en utilisant context-manager pour la collecte de données historiques.
1.1 Collecter les Données de Performance
Utiliser : context-manager
Commande : analyze-agent-performance $ARGUMENTS --days 30
Collecter les métriques incluant :
- Taux d'achèvement des tâches (tâches réussies vs échouées)
- Exactitude des réponses et justesse factuelle
- Efficacité d'utilisation des outils (outils corrects, fréquence d'appel)
- Temps de réponse moyen et consommation de tokens
- Indicateurs de satisfaction utilisateur (corrections, nouvelles tentatives)
- Incidents d'hallucination et schémas d'erreur
1.2 Analyse des Schémas de Retour Utilisateur
Identifier les schémas récurrents dans les interactions utilisateur :
- Schémas de correction : Où les utilisateurs modifient systématiquement les sorties
- Demandes de clarification : Zones d'ambiguïté courantes
- Abandon de tâche : Points où les utilisateurs abandonnent
- Questions de suivi : Indicateurs de réponses incomplètes
- Retours positifs : Schémas réussis à préserver
1.3 Classification des Modes de Défaillance
Catégoriser les défaillances par cause racine :
- Mauvaise compréhension des instructions : Confusion sur le rôle ou la tâche
- Erreurs de format de sortie : Problèmes de structure ou de format
- Perte de contexte : Dégradation dans les longues conversations
- Mauvais usage des outils : Sélection incorrecte ou inefficace des outils
- Violations de contraintes : Enfreintes de règles de sécurité ou d'entreprise
- Gestion des cas limites : Scénarios d'entrée inhabituels
1.4 Rapport de Performance de Base
Générer des métriques quantitatives de base :
Performance de base :
- Taux de réussite des tâches : [X%]
- Corrections moyennes par tâche : [Y]
- Efficacité d'appel d'outil : [Z%]
- Score de satisfaction utilisateur : [1-10]
- Latence de réponse moyenne : [Xms]
- Ratio d'efficacité des tokens : [X:Y]
Phase 2 : Améliorations d'Ingénierie des Prompts
Appliquer des techniques avancées d'optimisation de prompts en utilisant l'agent prompt-engineer.
2.1 Amélioration de la Chaîne de Pensée
Implémenter des schémas de raisonnement structurés :
Utiliser : prompt-engineer
Technique : chain-of-thought-optimization
- Ajouter des étapes de raisonnement explicites : "Abordons ceci étape par étape..."
- Inclure des points de vérification d'auto-vérification : "Avant de procéder, vérifions que..."
- Implémenter une décomposition récursive pour les tâches complexes
- Ajouter une visibilité de la trace de raisonnement pour le débogage
2.2 Optimisation des Exemples Few-Shot
Curater des exemples de haute qualité issus d'interactions réussies :
- Sélectionner des exemples diversifiés couvrant des cas d'utilisation courants
- Inclure des cas limites qui ont précédemment échoué
- Montrer des exemples positifs et négatifs avec explications
- Ordonner les exemples du simple au complexe
- Annoter les exemples avec les points de décision clés
Structure d'exemple :
Bon exemple :
Entrée : [Requête utilisateur]
Raisonnement : [Processus de pensée étape par étape]
Sortie : [Réponse réussie]
Pourquoi cela fonctionne : [Facteurs clés de succès]
Mauvais exemple :
Entrée : [Requête similaire]
Sortie : [Réponse échouée]
Pourquoi cela échoue : [Problèmes spécifiques]
Approche correcte : [Version corrigée]
2.3 Raffinement de la Définition du Rôle
Renforcer l'identité et les capacités de l'agent :
- Objectif principal : Mission claire en une phrase
- Domaines d'expertise : Domaines de connaissance spécifiques
- Traits comportementaux : Personnalité et style d'interaction
- Maîtrise des outils : Outils disponibles et quand les utiliser
- Contraintes : Ce que l'agent ne doit PAS faire
- Critères de succès : Comment mesurer l'achèvement de la tâche
2.4 Intégration de l'IA Constitutionnelle
Implémenter des mécanismes d'auto-correction :
Principes constitutionnels :
1. Vérifier l'exactitude factuelle avant de répondre
2. Auto-vérifier les biais potentiels ou contenus nuisibles
3. Valider que le format de sortie correspond aux exigences
4. Assurer l'exhaustivité de la réponse
5. Maintenir la cohérence avec les réponses précédentes
Ajouter des boucles de critique et révision :
- Génération initiale de la réponse
- Auto-critique par rapport aux principes
- Révision automatique si des problèmes sont détectés
- Validation finale avant la sortie
2.5 Réglage du Format de Sortie
Optimiser la structure de la réponse :
- Modèles structurés pour les tâches courantes
- Formatage dynamique basé sur la complexité
- Divulgation progressive pour les informations détaillées
- Optimisation Markdown pour la lisibilité
- Formatage des blocs de code avec coloration syntaxique
- Génération de tableaux et listes pour la présentation des données
Phase 3 : Tests et Validation
Cadre de test complet avec comparaison A/B.
3.1 Développement de la Suite de Tests
Créer des scénarios de test représentatifs :
Catégories de test :
1. Scénarios de chemin doré (cas réussis courants)
2. Tâches ayant précédemment échoué (tests de régression)
3. Cas limites et scénarios de coin
4. Tests de stress (tâches complexes en plusieurs étapes)
5. Entrées adversariales (points de rupture potentiels)
6. Tâches inter-domaine (combinaison de compétences)
3.2 Cadre de Test A/B
Comparer l'agent original vs amélioré :
Utiliser : parallel-test-runner
Config :
- Agent A : Version originale
- Agent B : Version améliorée
- Ensemble de tests : 100 tâches représentatives
- Métriques : Taux de succès, vitesse, utilisation de tokens
- Évaluation : Revue humaine en aveugle + notation automatisée
Test de signification statistique :
- Taille minimale de l'échantillon : 100 tâches par variante
- Niveau de confiance : 95% (p < 0,05)
- Calcul de la taille d'effet (d de Cohen)
- Analyse de puissance pour les tests futurs
3.3 Métriques d'Évaluation
Cadre de notation complet :
Métriques au niveau de la tâche :
- Taux d'achèvement (succès/échec binaire)
- Score d'exactitude (précision 0-100%)
- Score d'efficacité (étapes effectuées vs optimales)
- Pertinence de l'utilisation des outils
- Pertinence et exhaustivité de la réponse
Métriques de qualité :
- Taux d'hallucination (erreurs factuelles par réponse)
- Score de cohérence (alignement avec les réponses précédentes)
- Conformité au format (correspond à la structure spécifiée)
- Score de sécurité (respect des contraintes)
- Prédiction de satisfaction utilisateur
Métriques de performance :
- Latence de réponse (temps jusqu'au premier token)
- Temps de génération total
- Consommation de tokens (entrée + sortie)
- Coût par tâche (frais d'utilisation de l'API)
- Efficacité mémoire/contexte
3.4 Protocole d'Évaluation Humaine
Processus de revue humaine structuré :
- Évaluation en aveugle (les évaluateurs ne connaissent pas la version)
- Rubrique standardisée avec des critères clairs
- Plusieurs évaluateurs par échantillon (fiabilité inter-évaluateurs)
- Collecte de retours qualitatifs
- Classement des préférences (comparaison A vs B)
Phase 4 : Contrôle de Version et Déploiement
Déploiement sécurisé avec surveillance et capacités de rollback.
4.1 Gestion de Version
Stratégie de versionnement systématique :
Format de version : agent-name-v[MAJEUR].[MINEUR].[PATCH]
Exemple : customer-support-v2.3.1
MAJEUR : Changements de capacité significatifs
MINEUR : Améliorations de prompt, nouveaux exemples
PATCH : Corrections de bugs, ajustements mineurs
Maintenir l'historique des versions :
- Stockage des prompts basé sur Git
- Journal des modifications avec détails d'amélioration
- Métriques de performance par version
- Procédures de rollback documentées
4.2 Déploiement Par Étapes
Stratégie de déploiement progressif :
- Tests alpha : Validation en équipe interne (5% du trafic)
- Tests bêta : Utilisateurs sélectionnés (20% du trafic)
- Version canary : Augmentation graduelle (20% → 50% → 100%)
- Déploiement complet : Après atteinte des critères de succès
- Période de surveillance : Fenêtre d'observation de 7 jours
4.3 Procédures de Rollback
Mécanisme de retour rapide :
Déclencheurs de rollback :
- Le taux de succès chute de plus de 10% par rapport à la base
- Les erreurs critiques augmentent de plus de 5%
- Les plaintes des utilisateurs grimpent
- Le coût par tâche augmente de plus de 20%
- Des violations de sécurité sont détectées
Processus de rollback :
1. Détecter le problème via la surveillance
2. Alerter l'équipe immédiatement
3. Basculer vers la version stable précédente
4. Analyser la cause racine
5. Corriger et re-tester avant de réessayer
4.4 Surveillance Continue
Suivi des performances en temps réel :
- Tableau de bord avec métriques clés
- Alertes de détection d'anomalies
- Collecte des retours utilisateurs
- Tests de régression automatisés
- Rapports de performance hebdomadaires
Critères de Succès
L'amélioration de l'agent est réussie lorsque :
- Le taux de réussite des tâches s'améliore d'au moins 15%
- Les corrections des utilisateurs diminuent d'au moins 25%
- Aucune augmentation des violations de sécurité
- Le temps de réponse reste dans les 10% de la base
- Le coût par tâche n'augmente pas de plus de 5%
- Les retours positifs des utilisateurs augmentent
Revue Post-Déploiement
Après 30 jours d'utilisation en production :
- Analyser les données de performance accumulées
- Comparer avec la base et les objectifs
- Identifier de nouvelles opportunités d'amélioration
- Documenter les leçons apprises
- Planifier le prochain cycle d'optimisation
Cycle d'Amélioration Continue
Établir une cadence d'amélioration régulière :
- Hebdomadaire : Surveiller les métriques et collecter les retours
- Mensuel : Analyser les schémas et planifier les améliorations
- Trimestriel : Mises à jour majeures avec nouvelles capacités
- Annuel : Revue stratégique et mises à jour d'architecture
Rappelez-vous : L'optimisation d'un agent est un processus itératif. Chaque cycle s'appuie sur les apprentissages précédents, améliorant progressivement les performances tout en maintenant la stabilité et la sécurité.
Limitations
- Utiliser ce skill uniquement lorsque la tâche correspond clairement au périmètre décrit ci-dessus.
- Ne pas traiter la sortie comme un substitut à une validation, des tests ou un examen d'expert spécifique à l'environnement.
- S'arrêter et demander des clarifications si les entrées, autorisations, limites de sécurité ou critères de succès requis sont manquants.