CommunityRecherche et analyse de donnéesgithub.com

SEG : Graph d'Évaluation des Compétences : Pilote Procédural po…

Évaluation basée sur des preuves, benchmarking et réparation vérifiée pour les compétences d'agent sur Codex, Claude Code, Gemini CLI et Antigravity.

Qu'est-ce que SEG : Graph d'Évaluation des Compétences : Pilote Procédural po… ?

SEG (Skill Evaluation Graph) est un cadre procédural permettant d'auditer et d'optimiser les compétences d'agent IA. Il transforme les compétences en actifs d'ingénierie fiables, économes en tokens et prêts pour la production. SEG évalue la précision des déclencheurs, l'architecture de divulgation progressive, le pilotage comportemental, le déterminisme d'exécution, la sécurité opérationnelle et l'économie des tokens. Basé sur un graphe de workflow modulaire, il exécute un DAG d'évaluation parallèle, joint les preuves et prend une décision via un Oracle multi-portes (ACCEPT, REVISE, ESCALATE). En cas de défauts réparables, il propose des correctifs vérifiés en sandbox, sans mutation par défaut. SEG génère également des fiches d'évaluation standardisées avec preuves mesurées, garantissant l'intégrité des scores grâce à des reçus d'évaluation infalsifiables (HA256). Il est compatible avec les environnements Antigravity, Claude Code et Codex. L'outil inclut un catalogue de scénarios de validation comportementale et un contrat anti-hallucination pour les contributeurs.

Compatible avec✓Claude Code✓Codex CLI~Cursor✓Antigravity✓Gemini CLI
npx skills add MaxLaurieHutchinson/skill-evaluation-graph

Installed? Explore more Recherche et analyse de données skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Voir l'original→Voir toutes les compétences

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

OpenAIChatGPTClaudeClaudeGeminiGeminiGrokGrokPerplexityPerplexityDeepSeekDeepSeek

Documentation

SEG : Graph d'Évaluation des Compétences : Pilote Procédural pour l'Audit et l'Optimisation des Compétences d'Agent

Transformez les compétences d'agent en actifs d'ingénierie fiables, économes en tokens et prêts pour la production. Évalue la précision des déclencheurs, l'architecture de divulgation progressive, le pilotage comportemental, le déterminisme d'exécution, la sécurité opérationnelle et l'économie des tokens.

Matrice de Référence Rapide

SujetObjectifRessource Autorisée
Terminologie CanoniqueVocabulaire autorisé et définitions du domainereferences/terminology.md
Grille d'Audit 6 PiliersDéfinitions de notation objective de 1 à 5references/audit-rubric.md
Catalogue d'Anti-PatternsGuide de diagnostic pour 14 défauts récurrents de compétencesreferences/anti-patterns.md
Ingénierie de ContexteModèles de divulgation progressive multi-niveauxreferences/progressive-disclosure-patterns.md
Graph d'Évaluation et BoucleManuel d'exécution du Moteur de Boucle d'Évaluation Autonomereferences/workflow-graph-and-evaluator-loop.md
Compatibilité des HarnaisCorrespondances d'outils multiplateformes (Antigravity/Claude/Codex)references/harness-tool-matrix.md
Exécuteur d'Essais ComportementauxÉvaluation Contrôle vs. Traitement et essais en directscripts/eval_skill.py
Audit des Revendications de CapacitésRéalité technique et classification des preuvesreferences/claim-audit.md
Modèle de Fiche d'ÉvaluationModèle de rapport d'évaluation standardiséassets/skill-audit-scorecard-template.md
Exemple de Fiche d'ÉvaluationRapport d'évaluation complet exemplaireassets/example-scorecard.md
Fiche d'Auto-AuditFiche de référence d'auto-audit SEGassets/self-audit-scorecard.md
Alignement sur les NormesCadre en 14 étapes du Wiki IA Appliquéreferences/wiki-standard-alignment.md
Protection d'AgentContrat de contributeur anti-hallucinationassets/agent-contributor-contract-template.md

[!IMPORTANT] Terminologie Canonique : Utilisez references/terminology.md comme vocabulaire canonique de SEG. N'introduisez pas de synonymes pour les concepts définis sans mettre à jour le glossaire.

Architecture du Graph de Workflow

[Nœud 1 : Réception & Périmètre]
          │
          ▼
[Nœud 2 : Exécution DAG d'Évaluation Parallèle]
  (Schéma, Liens, Tokens, Sécurité/Vie Privée, Portabilité, Routage des Déclencheurs, Politique Comportementale)
          │
          ▼
[Nœud 3 : Jonction de Preuves Multi-Nœuds]
          │
          ▼
[Nœud 4 : Oracle d'Évaluation Multi-Portes]
          │
  ┌───────┼───────────────────────────────┐
  ▼       ▼                               ▼
[Nœud 5A : ACCEPTER]              [Nœud 5B/5C : RÉVISER]            [Nœud 5D : ESCALADER]
(Fiche & Reçu)           (Vérif. Sandbox -> Aperçu/Muter)   (Attention Humaine Requise)

Pilote d'Exécution Procédurale

Suivez ces étapes dans l'ordre lors de l'audit ou de l'optimisation d'une compétence d'agent :

Étape 1 : Identifier la Compétence Cible et Vérifier le Périmètre

  1. Localisez le répertoire cible contenant SKILL.md.
  2. Inspectez l'inventaire du package à travers SKILL.md, references/, scripts/ et assets/.
  3. Vérifiez les manifestes de compatibilité du harnais hôte (.codex-plugin/plugin.json, CLAUDE.md, AGENTS.md, .agents/plugins/marketplace.json).

Étape 2 : Lire la Terminologie Canonique

Consultez references/terminology.md avant d'enregistrer les résultats. Assurez-vous que tous les retours et rapports utilisent les noms canoniques exacts (par ex. Static Quality Score, Oracle Verdict, Evaluation Integrity Gate, Pre-mutation Snapshot).

Étape 3 : Exécuter le Graph d'Évaluation

Exécutez le DAG d'évaluation parallèle modulaire via scripts/run_loop.py :

# Évaluation en lecture seule et aperçu des différences (par défaut)
python "<skill-dir>/scripts/run_loop.py" "<target-skill-path>" --target-score 95 --max-iterations 3

# Avec remise de la fiche d'évaluation lors de l'acceptation
python "<skill-dir>/scripts/run_loop.py" "<target-skill-path>" --scorecard "<target-skill-path>/scorecard.md"

Les nœuds d'évaluation s'exécutent à travers des vagues de dépendances parallèles :

  • schema : Valide le frontmatter YAML, les noms et les champs obligatoires.
  • links_syntax : Résout les liens relatifs, les règles à un seul saut et les blocs de code.
  • tokens : Profile le budget de tokens à travers les 5 niveaux de divulgation progressive.
  • safety_privacy : Détecte les commandes destructrices et les expositions de chemins de poste de travail.
  • portability : Valide les manifestes de plugin et de marketplace OpenAI Codex.
  • trigger_routing : Vérifie les déclencheurs de description dans le frontmatter et les limites négatives.
  • behaviour_policy : Applique les directives anti-rationalisation.

Étape 4 : Joindre les Preuves et Évaluer les Portes

Les preuves de tous les nœuds sont synthétisées dans JoinedEvidence. L'EvaluatorOracle applique 5 portes obligatoires :

  1. Porte d'Intégrité de l'Évaluation (Porte 0) : Échoue fermée si un évaluateur rencontre une erreur non gérée, expire ou saute inopinément.
  2. Porte de Conformité aux Spécifications : Échoue si un nœud signale une SPECIFICATION_ERROR (ex : schéma de marché invalide ou frontmatter cassé).
  3. Porte de Sécurité et Vie Privée : Échoue sur les commandes destructrices ou les fuites de chemins de poste de travail.
  4. Porte d'Intégrité des Liens : Échoue sur les liens markdown relatifs cassés.
  5. Porte de Politique de Score de Qualité Statique : Vérifie que le score global atteint --target-score (par défaut : 95).

Étape 5 : Traiter le Verdict de l'Oracle

  • ACCEPTER (Nœud 5A) : Toutes les portes obligatoires passées et le score de qualité statique $\ge$ 95. Générer la fiche d'évaluation et le reçu d'évaluation. Statut : COMPLETED (ou MUTATED si des réparations ont été appliquées).
  • RÉVISER (Nœud 5B/5C) : Défauts réparables détectés. Passer à l'Étape 6.
  • ESCALADER (Nœud 5D) : Bloqueurs non résolubles ou limite d'itération atteinte. S'arrête pour intervention humaine avec une liste détaillée des bloqueurs. Statut : ESCALATED.

Étape 6 : Dériver la Réparation, Vérifier dans le Sandbox, et Muter avec Autorité

Lorsque le verdict est RÉVISER :

  1. plan_repairs() dérive des propositions de correctifs déterministes à partir des résultats.
  2. RepairIsolator met en scène les propositions dans un sandbox de réparation isolé (tempfile.TemporaryDirectory).
  3. Le candidat est réévalué dans le sandbox en utilisant le DAG et l'Oracle pour vérifier :
    • La Porte d'Intégrité de l'Évaluation passe.
    • Les portes obligatoires ne régressent pas.
    • Aucun nouveau résultat ERROR n'est introduit.
    • Le score de qualité statique ou le nombre de résultats s'améliore strictement.
  4. Si le candidat passe la vérification :
    • Par défaut (Lecture Seule) : La différence unifiée est affichée pour révision humaine. La compétence cible sur le disque reste inchangée. Statut : PREVIEWED.
    • Avec --apply : Les correctifs vérifiés sont écrits sur le disque avec une protection d'instantané pré-mutation (un répertoire de récupération frère nommé de façon unique). Statut : MUTATED.
  5. La boucle reprend pour l'itération suivante jusqu'à ACCEPTER ou épuisement du nombre maximum d'itérations.

Étape 7 : Exécuter Facultativement des Essais Comportementaux

Le catalogue versionné regroupé se trouve dans evaluations/scenarios/. Installez les dépendances Python à partir de requirements.txt avant d'exécuter SEG.

Pour une validation dynamique de l'exécution de la compétence, exécutez scripts/eval_skill.py :

# Simulation hors ligne des scénarios anti-rationalisation
python "<skill-dir>/scripts/eval_skill.py" "<target-skill-path>"

# Essai en direct authentifié avec l'interface Codex CLI et répertoire personnel isolé
python "<skill-dir>/scripts/eval_skill.py" "<target-skill-path>" --live --harness codex --trials 1 --timeout 90

Étape 8 : Produire une Fiche d'Évaluation Basée sur les Preuves

Générez la fiche d'évaluation d'audit finalisée via scripts/audit_skill.py :

python "<skill-dir>/scripts/audit_skill.py" "<target-skill-path>" --scorecard "<output-scorecard.md>"

La fiche d'évaluation projette strictement les preuves mesurées du DAG et de l'Oracle :

  • La recommandation correspond au Verdict de l'Oracle (ACCEPTER, RÉVISER, ESCALADER).
  • Les piliers mesurés de la grille projettent les métriques d'évaluation.
  • Les piliers non mesurés rapportent explicitement NOT EVALUATED.
  • Un reçu d'évaluation infalsifiable est enregistré avec un condensé SHA256 sur l'état d'exécution finalisé.

Invariants de Qualité

  • Zéro Lien Casser : Chaque lien markdown relatif doit se résoudre dans le répertoire de la compétence.
  • Strict Saut Unique : Aucun fichier de référence ne peut lier vers un fichier de référence secondaire.
  • Conformité Budgétaire : SKILL.md ne doit pas dépasser 300 lignes ou 2500 tokens.
  • Portabilité Autonome : Zéro chemin machine codé en dur ou répertoire personnel utilisateur.
  • Intégrité des Preuves : Les fiches d'évaluation et les reçus doivent refléter des preuves vérifiables sans scores fabriqués.

Skills associés

affaan-m/uspto-database

USPTO patent and trademark data workflow for official record lookup, PatentSearch queries, TSDR checks, assignment data, and reproducible IP research logs.

community

affaan-m/scholar-evaluation

Structured scholarly-work evaluation for papers, proposals, literature reviews, methods sections, evidence quality, citation support, and research-writing feedback.

community

affaan-m/literature-review

Systematic literature-review workflow for academic, biomedical, technical, and scientific topics, including search planning, source screening, synthesis, citation checks, and evidence logging.

community

affaan-m/everything-claude-code

The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.

community

forrestchang/andrej-karpathy-skills

Agent skill repository discovered by 10x-chat research.

community

langgenius/backend-code-review

Review backend code for quality, security, maintainability, and best practices based on established checklist rules. Use when the user requests a review, analysis, or improvement of backend files (e.g., `.py`) under the `api/` directory. Do NOT use for frontend files (e.g., `.tsx`, `.ts`, `.js`). Supports pending-change review, code snippets review, and file-focused review.

community
← More Recherche et analyse de données skills