CommunityRecherche & Datenanalysegithub.com

SEG: Skill Evaluation Graph – Prozeduraler Treiber für Agent-Sk…

Evidenzbasierte Evaluierung, Benchmarking und verifizierte Reparatur von Agent-Skills für Codex, Claude Code, Gemini CLI und Antigravity.

Was ist SEG: Skill Evaluation Graph – Prozeduraler Treiber für Agent-Sk…?

SEG (Skill Evaluation Graph) ist ein prozeduraler Treiber für die systematische Überprüfung und Optimierung von Agent-Skills. Es bewertet Skills anhand von sechs Säulen: Auslösepräzision, progressive Offenlegungsarchitektur, Verhaltenssteuerung, Ausführungsdeterminismus, Betriebssicherheit und Token-Ökonomie. Das Tool unterstützt Codex, Claude Code, Gemini CLI und Antigravity und besteht aus einem modularen Bewertungs-DAG, der parallel Ausführungsknoten wie Schema-, Link-, Token-, Sicherheits-, Portabilitäts- und Verhaltensprüfungen ausführt. Der integrierte Oracle-Mechanismus filtert Ergebnisse durch fünf zwingende Prüfstellen und kann defekte Skills automatisch in einer Sandbox reparieren, bevor sie mutiert werden. SEG liefert abschließend einen manipulationssicheren Evaluierungsbeleg mit SHA256-Prüfsumme, der alle Ergebnisse und Reparaturen dokumentiert.

Funktioniert mit✓Claude Code✓Codex CLI~Cursor✓Antigravity✓Gemini CLI
npx skills add MaxLaurieHutchinson/skill-evaluation-graph

Installed? Explore more Recherche & Datenanalyse skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Original anzeigen→Alle Skills durchsuchen

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

OpenAIChatGPTClaudeClaudeGeminiGeminiGrokGrokPerplexityPerplexityDeepSeekDeepSeek

Dokumentation

SEG: Skill Evaluation Graph: Prozeduraler Treiber für Agent-Skill-Audit & Optimierung

Verwandeln Sie Agent-Skills in zuverlässige, tokeneffiziente, produktionsreife Engineering-Assets. Bewertet Auslösepräzision, progressive Offenlegungsarchitektur, Verhaltenssteuerung, Ausführungsdeterminismus, Betriebssicherheit und Token-Ökonomie.

Schnellreferenz-Matrix

BelangZweckAutoritative Ressource
Kanonische TerminologieAutoritärer Wortschatz & Domänendefinitionenreferences/terminology.md
6-Säulen-Audit-RubrikObjektive Bewertungsdefinitionen 1–5references/audit-rubric.md
Anti-Pattern-KatalogDiagnostischer Leitfaden für 14 wiederkehrende Skill-Mängelreferences/anti-patterns.md
Kontext-EngineeringMehrstufige progressive Offenlegungsmusterreferences/progressive-disclosure-patterns.md
Evaluierungsgraph & SchleifeRunbook für die Autonome Evaluator-Loop-Enginereferences/workflow-graph-and-evaluator-loop.md
Harness-KompatibilitätPlattformübergreifende Tool-Mappings (Antigravity/Claude/Codex)references/harness-tool-matrix.md
Verhaltenstest-LäuferKontroll- vs. Behandlungs-Evaluierung & Live-Testsscripts/eval_skill.py
Fähigkeitsbehauptungs-AuditTechnische Realität & Evidenzklassifikationreferences/claim-audit.md
Scorecard-VorlageStandardisierte Evaluierungsberichtsvorlageassets/skill-audit-scorecard-template.md
Beispiel-ScorecardExemplarischer abgeschlossener Evaluierungsberichtassets/example-scorecard.md
Selbst-Audit-ScorecardSEG-Selbstaust-Basislinien-Scorecardassets/self-audit-scorecard.md
StandardkonformitätApplied AI Wiki 14-Schritte-Rahmenwerkreferences/wiki-standard-alignment.md
AgentenschutzAnti-Halluzinations-Mitwirkungsvertragassets/agent-contributor-contract-template.md

[!WICHTIG] Kanonische Terminologie: Verwenden Sie references/terminology.md als SEGs kanonischen Wortschatz. Führen Sie keine Synonyme für definierte Konzepte ein, ohne das Glossar zu aktualisieren.

Workflow-Graph-Architektur

[Knoten 1: Aufnahme & Umfang]
          │
          ▼
[Knoten 2: Parallele Evaluator-DAG-Ausführung]
  (Schema, Links, Tokens, Sicherheit/Privatsphäre, Portabilität, Trigger-Routing, Verhaltensrichtlinie)
          │
          ▼
[Knoten 3: Zusammenführung von Multi-Node-Evidenz]
          │
          ▼
[Knoten 4: Multi-Gate-Evaluator-Orakel]
          │
  ┌───────┼───────────────────────────────┐
  ▼       ▼                               ▼
[Knoten 5A: AKZEPTIERT]           [Knoten 5B/5C: ÜBERARBEITEN]            [Knoten 5D: ESKALIEREN]
(Scorecard & Beleg)  (Sandbox-Verifikation -> Vorschau/Mutieren)   (Menschliche Aufmerksamkeit erforderlich)

Prozeduraler Ausführungstreiber

Befolgen Sie diese Schritte in der angegebenen Reihenfolge, wenn Sie einen Agent-Skill überprüfen oder optimieren:

Schritt 1: Ziel-Skill identifizieren & Umfang prüfen

  1. Lokalisieren Sie das Zielverzeichnis mit SKILL.md.
  2. Prüfen Sie das Paket-Inventar über SKILL.md, references/, scripts/ und assets/.
  3. Überprüfen Sie die Host-Harness-Kompatibilitätsmanifeste (.codex-plugin/plugin.json, CLAUDE.md, AGENTS.md, .agents/plugins/marketplace.json).

Schritt 2: Kanonische Terminologie lesen

Konsultieren Sie references/terminology.md, bevor Sie Ergebnisse erfassen. Stellen Sie sicher, dass alle Rückmeldungen und Berichte exakte kanonische Namen verwenden (z. B. Static Quality Score, Oracle Verdict, Evaluation Integrity Gate, Pre-mutation Snapshot).

Schritt 3: Evaluierungsgraphen ausführen

Führen Sie den modularen parallelen Evaluierungs-DAG über scripts/run_loop.py aus:

# Nur-Lese-Evaluierung und Diff-Vorschau (Standard)
python "<skill-verzeichnis>/scripts/run_loop.py" "<ziel-skill-pfad>" --target-score 95 --max-iterations 3

# Mit Scorecard-Zustellung bei Annahme
python "<skill-verzeichnis>/scripts/run_loop.py" "<ziel-skill-pfad>" --scorecard "<ziel-skill-pfad>/scorecard.md"

Evaluatorknoten werden in parallelen Abhängigkeitswellen ausgeführt:

  • schema: Validiert YAML-Frontmatter, Benennung und erforderliche Felder.
  • links_syntax: Löst relative Links, Single-Hop-Regeln und Codeblöcke auf.
  • tokens: Erstellt ein Token-Budget-Profil über die 5 progressiven Offenlegungsstufen.
  • safety_privacy: Erkennt destruktive Befehle und Arbeitsstationspfad-Expositionen.
  • portability: Validiert OpenAI Codex-Plugin- und Marktplatz-Manifeste.
  • trigger_routing: Prüft Frontmatter-Beschreibungsauslöser und negative Grenzen.
  • behaviour_policy: Setzt Anti-Rationalisierungsrichtlinien durch.

Schritt 4: Evidenz zusammenführen & Prüfstellen bewerten

Evidenz von allen Knoten wird zu JoinedEvidence synthetisiert. Der EvaluatorOracle erzwingt 5 zwingende Prüfstellen:

  1. Evaluation Integrity Gate (Gate 0): Schlägt geschlossen fehl, wenn ein Evaluator auf einen nicht behandelten Fehler stößt, zeitlich ausfällt oder unerwartet überspringt.
  2. Specification Conformance Gate: Schlägt fehl, wenn ein Knoten einen SPECIFICATION_ERROR meldet (z. B. ungültiges Marktplatz-Schema oder defektes Frontmatter).
  3. Safety & Privacy Gate: Schlägt bei destruktiven Befehlen oder Arbeitsstationspfad-Lecks fehl.
  4. Link Integrity Gate: Schlägt bei defekten relativen Markdown-Links fehl.
  5. Static Quality Score Policy Gate: Überprüft, ob die Gesamtbewertung den --target-score (Standard: 95) erreicht.

Schritt 5: Orakelurteil verarbeiten

  • ACCEPT (Knoten 5A): Alle zwingenden Prüfstellen bestanden und statische Qualitätsbewertung $\ge 95$. Scorecard und Evaluierungsbeleg generieren. Status: COMPLETED (oder MUTATED, falls Reparaturen angewendet wurden).
  • REVISE (Knoten 5B/5C): Reparierbare Mängel erkannt. Fahren Sie mit Schritt 6 fort.
  • ESCALATE (Knoten 5D): Nicht lösbare Hürden oder Iterationsgrenze erreicht. Hält für menschliches Eingreifen mit detaillierter Blockierliste an. Status: ESCALATED.

Schritt 6: Reparatur ableiten, in Sandbox verifizieren und mit Autorität mutieren

Wenn das Urteil REVISE lautet:

  1. plan_repairs() leitet deterministische Patch-Vorschläge aus den Ergebnissen ab.
  2. RepairIsolator legt Vorschläge in einer isolierten Scratch-Sandbox an (tempfile.TemporaryDirectory).
  3. Der Kandidat wird in der Sandbox mithilfe des DAG und Orakels erneut evaluiert, um Folgendes zu verifizieren:
    • Evaluation Integrity Gate bestanden.
    • Zwingende Prüfstellen haben nicht regrediert.
    • Keine neuen ERROR-Befunde eingeführt.
    • Statische Qualitätsbewertung oder Befundanzahl strikt verbessert.
  4. Wenn der Kandidat die Verifikation besteht:
    • Standard (Nur-Lesen): Einheitlicher Diff wird zur menschlichen Überprüfung angezeigt. Zieldisk-Skill bleibt unverändert. Status: PREVIEWED.
    • Mit --apply: Verifizierte Patches werden mit Pre-Mutation-Snapshotschutz (einem eindeutig benannten Geschwister-Wiederherstellungsverzeichnis) auf die Festplatte geschrieben. Status: MUTATED.
  5. Die Schleife wird für die nächste Iteration fortgesetzt, bis ACCEPT oder die maximale Iterationsanzahl erreicht ist.

Schritt 7: Optional Verhaltenstests ausführen

Das gebündelte versionierte Katalog befindet sich in evaluations/scenarios/. Installieren Sie Python-Abhängigkeiten aus requirements.txt, bevor Sie SEG ausführen.

Für die dynamische Validierung der Skill-Ausführung führen Sie scripts/eval_skill.py aus:

# Offline-Simulation von Anti-Rationalisierungsszenarien
python "<skill-verzeichnis>/scripts/eval_skill.py" "<ziel-skill-pfad>"

# Live-authentifizierter Codex CLI-Test mit isoliertem Home-Verzeichnis
python "<skill-verzeichnis>/scripts/eval_skill.py" "<ziel-skill-pfad>" --live --harness codex --trials 1 --timeout 90

Schritt 8: Evidenzgestützte Scorecard erstellen

Generieren Sie die endgültige Audit-Scorecard über scripts/audit_skill.py:

python "<skill-verzeichnis>/scripts/audit_skill.py" "<ziel-skill-pfad>" --scorecard "<ausgabe-scorecard.md>"

Die Scorecard projiziert strikt gemessene Evidenz aus dem DAG und Orakel:

  • Empfehlung entspricht dem Orakelurteil (ACCEPT, REVISE, ESCALATE).
  • Gemessene Rubrik-Säulen projizieren Evaluatormetriken.
  • Nicht gemessene Säulen melden explizit NOT EVALUATED.
  • Ein manipulationssicherer Evaluierungsbeleg wird mit SHA256-Prüfsumme über den endgültigen Ausführungszustand gespeichert.

Qualitätsinvarianten

  • Null defekte Links: Jeder relative Markdown-Link muss innerhalb des Skill-Verzeichnisses auflösbar sein.
  • Strenge Single-Hop: Keine Referenzdatei darf auf eine sekundäre Referenzdatei verweisen.
  • Budgetkonformität: SKILL.md darf 300 Zeilen oder 2500 Tokens nicht überschreiten.
  • In sich geschlossene Portabilität: Keine fest codierten Maschinenpfade oder Benutzer-Home-Verzeichnisse.
  • Evidenzintegrität: Scorecards und Belege müssen überprüfbare Evidenz widerspiegeln, ohne erfundene Bewertungen.

Verwandte Skills

affaan-m/uspto-database

USPTO patent and trademark data workflow for official record lookup, PatentSearch queries, TSDR checks, assignment data, and reproducible IP research logs.

community

affaan-m/scholar-evaluation

Structured scholarly-work evaluation for papers, proposals, literature reviews, methods sections, evidence quality, citation support, and research-writing feedback.

community

affaan-m/literature-review

Systematic literature-review workflow for academic, biomedical, technical, and scientific topics, including search planning, source screening, synthesis, citation checks, and evidence logging.

community

affaan-m/everything-claude-code

The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.

community

forrestchang/andrej-karpathy-skills

Agent skill repository discovered by 10x-chat research.

community

langgenius/backend-code-review

Review backend code for quality, security, maintainability, and best practices based on established checklist rules. Use when the user requests a review, analysis, or improvement of backend files (e.g., `.py`) under the `api/` directory. Do NOT use for frontend files (e.g., `.tsx`, `.ts`, `.js`). Supports pending-change review, code snippets review, and file-focused review.

community
← More Recherche & Datenanalyse skills