skill-comply: 自動コンプライアンス測定

skill-comply: 自動コンプライアンス測定 は何をしますか？

コーディングエージェントがスキル、ルール、またはエージェント定義を実際に遵守しているかを以下の手順で測定します:

1. 任意の .md ファイルから期待される行動シーケンス（仕様）を自動生成
2. プロンプトの厳格度を下げたシナリオを自動生成（支援的 → 中立的 → 競合的）
3. claude -p を実行し、stream-json 経由でツールコールトレースを取得
4. LLM を使用して（正規表現ではなく）ツールコールを仕様ステップに分類
5. 時間的順序を決定論的にチェック
6. 仕様、プロンプト、タイムラインを含む自己完結型レポートを生成

対応ターゲット

• スキル (skills/*/SKILL.md): 検索ファースト、TDDガイドなどのワークフロースキル
• ルール (rules/common/*.md): testing.md, security.md, git-workflow.md などの必須ルール
• エージェント定義 (agents/*.md): エージェントが期待通りに呼び出されるか（内部ワークフローの検証は未対応）

アクティベーションタイミング

• ユーザーが /skill-comply <path> を実行
• ユーザーが「このルールは実際に守られているか？」と質問
• 新しいルール/スキルを追加した後、エージェントのコンプライアンスを確認するため
• 品質維持の一環として定期的に

使用方法

# フル実行
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# ドライラン（コストなし、仕様＋シナリオのみ生成）
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# カスタムモデル
uv run python -m scripts.run --gen-model haiku --model sonnet <path>

重要な概念: プロンプト独立性

スキル/ルールが、プロンプトが明示的にサポートしていない場合でも遵守されるかを測定します。

レポートの内容

レポートは自己完結型で、以下を含みます:

1. 期待される行動シーケンス（自動生成された仕様）
2. シナリオプロンプト（各厳格度で何が尋ねられたか）
3. シナリオごとのコンプライアンススコア
4. LLM分類ラベル付きのツールコールタイムライン

高度な機能（オプション）

フックに精通しているユーザー向けに、レポートにはコンプライアンスの低いステップに対するフック昇格の推奨事項も含まれます。これは参考情報であり、主な価値はコンプライアンスの可視化そのものにあります。