skill-comply: 自動コンプライアンス測定

skill-comply: 自動コンプライアンス測定 は何をしますか？

コーディングエージェントがスキル、ルール、またはエージェント定義に実際に従っているかを測定します。手順は以下の通りです:

1. 任意の .md ファイルから期待される行動シーケンス（仕様）を自動生成
2. プロンプトの厳格度を下げたシナリオを自動生成（支援的 → 中立的 → 競合的）
3. claude -p を実行し、stream-json でツールコールトレースをキャプチャ
4. LLM（正規表現ではない）を使用してツールコールを仕様ステップに対して分類
5. 時間的な順序を決定論的にチェック
6. 仕様、プロンプト、タイムラインを含む自己完結型レポートを生成

対応対象

• スキル（skills/*/SKILL.md）: search-first や TDD ガイドなどのワークフロースキル
• ルール（rules/common/*.md）: testing.md、security.md、git-workflow.md などの必須ルール
• エージェント定義（agents/*.md）: 期待通りにエージェントが呼び出されるか（内部ワークフローの検証は未対応）

使用タイミング

• ユーザーが /skill-comply <path> を実行したとき
• ユーザーが「このルールは実際に守られているのか？」と尋ねたとき
• 新しいルールやスキルを追加した後、エージェントのコンプライアンスを確認するため
• 定期的な品質メンテナンスの一環として

使い方

# フル実行
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# ドライラン（コストなし、仕様＋シナリオのみ）
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# カスタムモデル
uv run python -m scripts.run --gen-model haiku --model sonnet <path>

重要な概念: プロンプト独立性

スキルやルールが、プロンプトが明示的にそれをサポートしていない場合でも守られているかを測定します。

レポート内容

レポートは自己完結型で、以下を含みます:

1. 期待される行動シーケンス（自動生成された仕様）
2. シナリオプロンプト（各厳格度で何が尋ねられたか）
3. シナリオごとのコンプライアンススコア
4. LLM分類ラベル付きのツールコールタイムライン

詳細（オプション）

フックに詳しいユーザー向けに、レポートにはコンプライアンスが低いステップに対するフック昇格推奨も含まれます。これは参考情報です — 主な価値はコンプライアンスの可視化そのものです。