Découverte Autonome de Compétences pour Agents
Version : 1.0
Domaine : Systèmes d'Apprentissage Autonomes, Architecture IA, Apprentissage par Renforcement
Concept Fondamental
La découverte autonome de compétences résout le problème de l'œuf et de la poule : apprendre ce qui constitue un succès tout en apprenant comment y parvenir. Le système doit être à la fois élève et enseignant, créant des dépendances circulaires qui nécessitent une séparation architecturale entre la proposition et la validation.
Points de Décision
Arbre de Décision pour le Choix d'Architecture
Si la tâche a des critères de succès objectifs (ex. : navigation, manipulation avec objectifs clairs) → Utiliser une Architecture Mono-Modèle avec évaluation LLM rapide → Coût : Faible | Précision : ~75% | Cas d'usage : Tâches prédéterminées
Si la tâche nécessite une découverte ouverte de compétences (ex. : tâches créatives, exploration) → Utiliser une Architecture à Double Processus (Système 1/Système 2) → Système 1 : Évaluation LLM rapide pour les boucles d'apprentissage → Système 2 : Validation VLM indépendante pour l'admission dans la bibliothèque → Coût : Élevé | Précision : ~76% | Cas d'usage : Apprentissage autonome
Si un comportement complexe en plusieurs étapes est souhaité → Décomposition de Quête Descendante → Commencer par une tâche complexe échouée → décomposer en sous-tâches → apprendre les prérequis manquants → Taux de réussite : 43,75% contre 12,50% pour l'enchaînement ascendant
Si la bibliothèque de compétences est construite à partir de primitives → Enchaînement Ascendant de Compétences uniquement si les primitives sont bien adaptées aux objectifs finaux → Risque : Explosion combinatoire et absence de « compétences intermédiaires » → Solution de repli : Passer à l'approche descendante lorsque la composition échoue
Si les performances stagnent avec l'approche actuelle → Vérifier les dépendances circulaires (même modèle proposant et évaluant) → Si détecté : Implémenter une séparation architecturale → Si non détecté : Ajouter du RAG avec des modèles de compétences réussies pour la distillation de connaissances environnementales
Tableau de Décision pour la Stratégie de Validation
| Scénario | Évaluation Rapide (Système 1) | Évaluation Lente (Système 2) | Règle d'Admission dans la Bibliothèque |
|---|---|---|---|
| Boucles d'apprentissage | Fonctions de succès générées par LLM | Aucune | Non applicable |
| Validation de compétence | Évaluation LLM | Vérification VLM | Les deux doivent réussir |
| Risque de contamination de la bibliothèque | Haute tolérance | Tolérance zéro | Remplacement par Système 2 requis |
| Contraintes de coût | Optimiser pour la vitesse | Optimiser pour la précision | Acceptation asymétrique des coûts |
Modes d'Échec
1. Évaluation Tampon
Symptômes : Taux de réussite élevés rapportés mais mauvaise exécution des tâches, bibliothèque qui croît rapidement Règle de Détection : Si le même modèle génère les récompenses ET évalue le succès, il y a dépendance circulaire Cause Racine : Le LLM agissant à la fois comme joueur et arbitre crée un biais d'évaluation Solution : Implémenter une séparation architecturale avec un validateur indépendant (ex. : VLM pour les tâches visuelles)
2. Paralysie par Explosion des Primitives
Symptômes : Grande bibliothèque de compétences mais incapacité à résoudre des tâches complexes, les compétences ne se composent pas efficacement Règle de Détection : Si le nombre de compétences augmente mais que le taux de réussite des tâches complexes reste plat, il y a un problème de « compétences intermédiaires » Cause Racine : L'enchaînement ascendant ne peut pas découvrir les compétences entre les primitives et les objectifs complexes Solution : Passer à une décomposition descendante à partir des comportements complexes souhaités
3. Gaspillage RAG Sans Contexte
Symptômes : Récupération RAG effectuée mais aucune amélioration des performances, traitement de la récupération comme des exemples génériques Règle de Détection : Si le RAG n'améliore pas l'apprentissage des contraintes (ex. : compréhension physique), ce n'est qu'un coûteux prompting Cause Racine : Absence du mécanisme de distillation de connaissances environnementales Solution : Structurer la bibliothèque de compétences comme un modèle progressif des affordances environnementales, pas seulement une collection d'exemples
4. Cascade de Contamination de la Bibliothèque
Symptômes : Les performances se dégradent avec le temps à mesure que la bibliothèque grandit, les faux positifs se cumulent Règle de Détection : Si l'admission dans la bibliothèque utilise la même évaluation que les boucles d'apprentissage, la contamination va cascader Cause Racine : Les mauvaises compétences permettent de mauvaises compositions ; les erreurs de la bibliothèque se cumulent contrairement au bruit d'apprentissage Solution : Utiliser une validation indépendante coûteuse pour l'admission dans la bibliothèque, une évaluation bon marché uniquement pour l'apprentissage
5. Remplacement Manuel de Granularité
Symptômes : Les compétences semblent déconnectées des frontières sémantiques naturelles, niveaux d'abstraction forcés Règle de Détection : Si la spécification manuelle de la granularité des compétences contredit les propositions du LLM, vérifier l'alignement du domaine Cause Racine : Les LLM encodent les frontières sémantiques des tâches à partir des données d'apprentissage Solution : Laisser le système proposer librement des compétences, observer la granularité découverte, ajuster uniquement pour les besoins spécifiques au domaine
Exemples Concrets
Exemple 1 : Ouverture Robotisée de Tiroir avec Validation par Double Processus
Scénario : L'agent doit apprendre à ouvrir différents types de tiroirs sans critères de succès prédéfinis.
Processus du Système 1 (Rapide) :
- Le LLM génère une proposition de compétence : « saisir_poignée_tiroir »
- Le LLM crée une fonction de succès :
poignée_tiroir_saisie = distance_pince < 0.02 - L'apprentissage par renforcement utilise cette fonction pendant 100 épisodes
- Le LLM évalue : « Succès ! La pince atteint systématiquement la poignée »
- Point de décision : Admettre dans la bibliothèque ? NON - nécessite le Système 2
Processus du Système 2 (Lent) :
- Le VLM analyse les images des dernières frames des 10 meilleurs épisodes
- Verdict du VLM : « La pince touche la poignée mais ne maintient pas la prise - les doigts ne se ferment pas »
- Détection : Faux positif du Système 1 détecté
- Action : Rejeter l'admission dans la bibliothèque, affiner la fonction de succès
- Itération : Ajouter une exigence de pression de préhension à la fonction de succès
Expert vs Débutant :
- Ce que le débutant rate : Fait confiance à l'auto-évaluation du LLM, admet une compétence mal apprise
- Ce que l'expert détecte : Le même modèle ne peut pas évaluer ce qu'il a proposé ; une validation indépendante est nécessaire
Résultat : La bibliothèque maintient une précision de 76% contre 46% sans Système 2
Exemple 2 : Décomposition Descendante de Quête pour une Tâche Multi-Étapes
Scénario : « Préparer le café » échoue avec l'enchaînement ascendant de compétences malgré la possession de primitives comme « saisir_tasse », « verser_liquide »
Analyse de l'Échec Ascendant :
- Compétences disponibles : saisir_tasse, verser_liquide, déplacer_bras, détecter_objet
- Tentatives de composition : Toutes les 16 chaînes possibles de 2 compétences essayées
- Compétences intermédiaires manquantes : « aligner_tasse_avec_bec », « détecter_niveau_liquide », « coordonner_versement_bimanuel »
- Point de décision : L'approche ascendante ne peut pas les découvrir - ce ne sont pas des compositions primitives
Décomposition Descendante :
- Tâche échouée : « préparer_café »
- Décomposer en : [chauffer_eau] → [moudre_grains] → [aligner_tasse] → [verser_eau] → [ajouter_grains]
- Analyse des lacunes : « aligner_tasse » manque dans la bibliothèque
- Apprentissage à la demande : Apprendre « aligner_tasse » avec l'état initial = état final de « moudre_grains »
- Enchaînement : L'état de réussite de chaque sous-tâche devient la condition initiale de la tâche suivante
Analyse des Compromis :
- Approche ascendante : 12,50% de taux de réussite, explore des combinaisons de compétences inutiles
- Approche descendante : 43,75% de taux de réussite, n'apprend que les prérequis nécessaires
- Coût : L'approche descendante nécessite une capacité de décomposition des tâches, l'approche ascendante nécessite une exploration exhaustive
Quand l'approche descendante échoue :
- Si la décomposition de la tâche est erronée, les compétences apprises le sont pour de mauvaises sous-tâches
- Si les états initiaux ne peuvent pas être définis de manière fiable, l'enchaînement se brise
- Atténuation : Valider la décomposition avant l'apprentissage des compétences, implémenter une vérification de la définition des états
Exemple 3 : Distillation de Connaissances Environnementales par RAG
Scénario : L'agent doit apprendre des compétences de manipulation dans un nouvel environnement sans contraintes physiques explicites
Sans RAG (25% de taux de réussite) :
- Le LLM génère une récompense :
récompense = distance_vers_cible - L'agent apprend à s'approcher mais ne tient pas compte des limites de collision
- Échec : Aucune connaissance que la pince doit être à 5 cm de la surface avant de saisir
Avec RAG (46% de taux de réussite) :
- Récupérer le succès précédent : fonction de récompense « atteindre_cube_A »
- Modèle détecté : Toutes les approches réussies incluent la contrainte
hauteur_pince > 0.05 - Le LLM incorpore :
récompense = distance_vers_cible si hauteur_pince > 0.05 sinon -10 - Connaissance distillée : L'affordance environnementale apprise implicitement
Expert vs Débutant :
- Ce que le débutant rate : Traite le RAG comme une fourniture d'exemples, ne reconnaît pas l'apprentissage de contraintes
- Ce que l'expert détecte : Le RAG permet la distillation de connaissances environnementales par reconnaissance de modèles
Quand le RAG échoue :
- Si les modèles récupérés proviennent d'environnements différents, les mauvaises contraintes sont apprises
- Si les exemples réussis sont trop rares, les modèles ne sont pas statistiquement significatifs
- Atténuation : Filtrer la récupération par similarité d'environnement, exiger une taille d'échantillon minimale pour l'extraction de modèles
Points de Contrôle Qualité
- La proposition et la validation utilisent des capacités de modèle différentes (ex. : LLM propose, VLM valide)
- La précision de l'évaluation rapide >45 % et la précision de l'évaluation lente >75 % mesurées sur un ensemble de test retenu
- L'admission dans la bibliothèque nécessite une validation indépendante, pas seulement le succès de la boucle d'apprentissage
- La décomposition de tâche complexe génère 3 à 7 sous-tâches significatives avec un ordre de dépendance clair
- La récupération RAG améliore l'apprentissage des contraintes de >15 % par rapport à la ligne de base sans RAG
- L'analyse de la granularité des compétences montre un regroupement sémantique, pas une énumération paramétrique
- Le système peut détecter et récupérer des modes d'échec de dépendance circulaire
- Le taux de contamination de la bibliothèque <25 % vérifié par une évaluation indépendante
- La décomposition descendante surpasse l'enchaînement ascendant de >2x sur les tâches complexes
- La distillation de connaissances environnementales démontre l'apprentissage de contraintes à partir de modèles de réussite
Limites d'Application
N'utilisez PAS cette compétence pour :
- Tâches prédéterminées avec des critères de succès connus → Utiliser plutôt l'apprentissage par renforcement standard avec des récompenses conçues manuellement
- Tâches de manipulation en une seule étape → Utiliser plutôt l'apprentissage supervisé avec des données de démonstration
- Tâches nécessitant des performances en temps réel → La validation par double processus est trop lente ; utiliser plutôt une bibliothèque de compétences en cache
- Domaines sans retour visuel → La validation VLM n'est pas disponible ; concevoir des validateurs indépendants spécifiques au domaine à la place
- Environnements à ressources limitées → La validation du Système 2 est coûteuse ; accepter une précision inférieure ou utiliser une validation hiérarchique
Déléguer à ces compétences à la place :
- Ingénierie standard des récompenses → Pour les tâches avec des métriques de succès claires
- Apprentissage par imitation → Pour les tâches avec des données de démonstration abondantes
- Apprentissage par renforcement hiérarchique → Pour les tâches avec une décomposition de compétences connue
- Méta-apprentissage → Pour une adaptation rapide à de nouvelles distributions de tâches
- IA Constitutionnelle → Pour les tâches nécessitant un alignement des valeurs et des contraintes de sécurité