skill-comply: 自動化遵循度測量 是做什麼的?
測量編碼代理人是否實際遵循技能、規則或代理人定義,透過:
- 從任何 .md 檔案自動生成預期的行為序列(規格)
- 自動生成提示嚴格度遞減(支援性 → 中立 → 對抗性)的腳本
- 執行
claude -p並透過 stream-json 擷取工具呼叫記錄 - 使用 LLM(而非正規表達式)對工具呼叫進行分類
- 以確定性演算法檢查時間順序
- 產生自我完備的報告,包含規格、提示與時間軸
支援的目標
- 技能 (
skills/*/SKILL.md):工作流程技能,例如搜尋優先、TDD 指南 - 規則 (
rules/common/*.md):強制性規則,例如 testing.md、security.md、git-workflow.md - 代理人定義 (
agents/*.md):判斷代理人是否在預期時機被呼叫(內部工作流程驗證尚未支援)
何時啟動
- 使用者執行
/skill-comply <path> - 使用者詢問「這條規則是否真的被遵循?」
- 新增規則/技能後,驗證代理人遵循度
- 定期作為品質維護的一部分
使用方式
# 完整執行
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# 乾執行(無成本,僅產生規格與腳本)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# 自訂模型
uv run python -m scripts.run --gen-model haiku --model sonnet <path>
核心概念:提示獨立性
衡量技能/規則是否在提示沒有明確支援時仍然被遵循。
報告內容
報告為自我完備格式,包含:
- 預期的行為序列(自動生成的規格)
- 腳本提示(每個嚴格度層級下所提出的問題)
- 每個腳本的遵循度分數
- 附有 LLM 分類標籤的工具呼叫時間軸
進階功能(選用)
針對熟悉掛鉤的使用者,報告也會針對遵循度低的步驟提供掛鉤推廣建議。此資訊僅供參考——主要價值仍在於遵循度本身的透明度。