skill-comply: Automatisierte Compliance-Messung
Misst, ob Coding-Agents tatsächlich Skills, Regeln oder Agent-Definitionen befolgen, indem:
- Automatisch erwartete Verhaltenssequenzen (Spezifikationen) aus beliebigen .md-Dateien generiert werden
- Szenarien mit abnehmender Prompt-Strenge (unterstützend → neutral → konkurrierend) automatisch erzeugt werden
claude -pausgeführt und Tool-Call-Spuren via stream-json erfasst werden- Tool-Aufrufe gegen Spezifikationsschritte mittels LLM (nicht Regex) klassifiziert werden
- Die zeitliche Reihenfolge deterministisch geprüft wird
- Eigenständige Berichte mit Spezifikation, Prompts und Zeitlinien generiert werden
Unterstützte Ziele
- Skills (
skills/*/SKILL.md): Workflow-Skills wie search-first, TDD-Anleitungen - Regeln (
rules/common/*.md): Verbindliche Regeln wie testing.md, security.md, git-workflow.md - Agent-Definitionen (
agents/*.md): Ob ein Agent wie erwartet aufgerufen wird (interne Workflow-Verifikation wird noch nicht unterstützt)
Wann aktivieren
- Benutzer führt
/skill-comply <pfad>aus - Benutzer fragt: „Wird diese Regel tatsächlich befolgt?“
- Nach dem Hinzufügen neuer Regeln/Skills, um die Compliance des Agents zu verifizieren
- Regelmäßig im Rahmen der Qualitätssicherung
Verwendung
# Vollständiger Durchlauf
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# Trockenlauf (keine Kosten, nur Spezifikation + Szenarien)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# Benutzerdefinierte Modelle
uv run python -m scripts.run --gen-model haiku --model sonnet <pfad>
Schlüsselkonzept: Prompt-Unabhängigkeit
Misst, ob ein Skill/eine Regel auch dann befolgt wird, wenn der Prompt sie nicht explizit unterstützt.
Berichtsinhalte
Die Berichte sind eigenständig und enthalten:
- Erwartete Verhaltenssequenz (automatisch generierte Spezifikation)
- Szenario-Prompts (was auf jeder Strenge-Stufe gefragt wurde)
- Compliance-Werte pro Szenario
- Tool-Call-Zeitlinien mit LLM-Klassifikationslabels
Erweitert (optional)
Für Benutzer, die mit Hooks vertraut sind, enthalten die Berichte auch Hook-Promotionsempfehlungen für Schritte mit niedriger Compliance. Dies dient der Information – der Hauptwert liegt in der Transparenz der Compliance selbst.