skill-comply

skill-comply: Automatisierte Compliance-Messung

Misst, ob Codierungs-Agents tatsächlich Skills, Regeln oder Agent-Definitionen befolgen, indem:

1. Automatisch erwartete Verhaltenssequenzen (Spezifikationen) aus jeder .md-Datei generiert werden
2. Automatisch Szenarien mit abnehmender Prompt-Strenge (unterstützend → neutral → konkurrierend) generiert werden
3. claude -p ausgeführt und Tool-Call-Traces via stream-json erfasst werden
4. Tool-Aufrufe mittels LLM (nicht Regex) gegen Spezifikationsschritte klassifiziert werden
5. Die zeitliche Reihenfolge deterministisch geprüft wird
6. Eigenständige Berichte mit Spezifikation, Prompts und Zeitachsen generiert werden

Unterstützte Ziele

• Skills (skills/*/SKILL.md): Workflow-Skills wie Search-First, TDD-Anleitungen
• Regeln (rules/common/*.md): Verbindliche Regeln wie testing.md, security.md, git-workflow.md
• Agent-Definitionen (agents/*.md): Ob ein Agent wie erwartet aufgerufen wird (interne Workflow-Verifikation wird noch nicht unterstützt)

Wann zu aktivieren

• Benutzer führt /skill-comply <path> aus
• Benutzer fragt: „Wird diese Regel tatsächlich befolgt?“
• Nach dem Hinzufügen neuer Regeln/Skills zur Überprüfung der Agent-Compliance
• Regelmäßig als Teil der Qualitätssicherung

Verwendung

# Vollständiger Durchlauf
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Trockenlauf (keine Kosten, nur Spezifikation + Szenarien)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Benutzerdefinierte Modelle
uv run python -m scripts.run --gen-model haiku --model sonnet <path>

Schlüsselkonzept: Prompt-Unabhängigkeit

Misst, ob ein Skill/eine Regel auch dann befolgt wird, wenn der Prompt sie nicht explizit unterstützt.

Berichtsinhalte

Berichte sind eigenständig und enthalten:

1. Erwartete Verhaltenssequenz (automatisch generierte Spezifikation)
2. Szenario-Prompts (was auf jeder Strenge-Stufe gefragt wurde)
3. Compliance-Werte pro Szenario
4. Tool-Call-Zeitachsen mit LLM-Klassifikationsbezeichnungen

Erweitert (optional)

Für Benutzer, die mit Hooks vertraut sind, enthalten Berichte auch Hook-Promotionsempfehlungen für Schritte mit niedriger Compliance. Dies dient nur der Information – der Hauptwert liegt in der Compliance-Transparenz selbst.