skill-comply:自动化合规性测量 是做什么的?
测量编码智能体是否实际遵循技能、规则或智能体定义,具体步骤:
- 从任何 .md 文件自动生成预期的行为序列(规格说明)
- 自动生成提示严格程度递减的场景(支持性 → 中性 → 对抗性)
- 运行
claude -p并通过 stream-json 捕获工具调用轨迹 - 使用 LLM(而非正则表达式)对工具调用进行分类
- 确定性地检查时序顺序
- 生成自包含的报告,包含规格说明、提示和时间线
支持的目标
- 技能 (
skills/*/SKILL.md):工作流技能,如搜索优先、TDD 指南 - 规则 (
rules/common/*.md):强制性规则,如 testing.md、security.md、git-workflow.md - 智能体定义 (
agents/*.md):智能体是否在预期时被调用(内部工作流验证尚不支持)
何时激活
- 用户运行
/skill-comply <path> - 用户询问“这条规则是否真的被遵循?”
- 添加新规则/技能后,验证智能体合规性
- 作为质量维护的一部分定期执行
使用方法
# 完整运行
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# 空运行(无成本,仅生成规格说明和场景)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# 自定义模型
uv run python -m scripts.run --gen-model haiku --model sonnet <path>
核心概念:提示独立性
测量技能/规则在提示未明确支持时是否仍被遵循。
报告内容
报告是自包含的,包括:
- 预期的行为序列(自动生成的规格说明)
- 场景提示(每个严格程度下所问的问题)
- 每个场景的合规率分数
- 带有 LLM 分类标签的工具调用时间线
高级功能(可选)
对于熟悉钩子 (hooks) 的用户,报告还包括针对低合规性步骤的钩子提升推荐。此为信息性内容——主要价值在于合规性的可视化本身。