审计
在每个里程碑关闭时运行,在下一个里程碑开始之前执行。使用最强的
可用模型(fable)——这是对日常管道进行高判断力平衡的机制。
范围
里程碑下合并的所有内容:
gh pr list --state merged --search "milestone:<name>" 以及问题列表。
检查
- 宪法合规性 —— 对合并的差异与已锁定的 决策和架构规则进行抽样。偏差会累积;请指出每一项违规。
- 测试诚实性 —— 查找那些断言形状而非行为的测试; 缺少覆盖测试的验收标准。
- 文档偏差 —— 面向用户的界面与实际行为(通过运行 文档中记载的命令进行抽查)。
- 依赖与许可证 —— 自上次审计以来的任何新增内容;陈旧性; 生态系统中存在已知 CVE 的依赖。
- 管道回顾 —— 回顾轮次数量、升级情况、钩子失败 在里程碑期间:哪个阶段产生了浪费?是否有代理规则被 反复忽略(这通常表明该规则应放入钩子中,而不是提示词中)?
- 提示词审计 —— 如果自上次审计以来有新的模型生成版本发布, 则重新阅读 cobots 代理提示词,寻找不再合适的指令 (严重性过滤器、过度触发警告、特定模型变通方法)。
输出
在里程碑的跟踪问题中发布一条审计报告评论(或创建一个标题为
audit: <milestone> 的新问题):按严重性排序的发现结果,每个结果都附带文件/PR 引用
以及一行修复说明。为每个中等及以上严重性的发现创建一个 gh issue,
并打上里程碑标签用于下一个周期。最后用一段话给出最终判断:代码库是否比上次审计时更健康?
不得
- 原地修复任何内容 —— 审计只提出问题;管道负责修复它们。
- 为了礼貌而过滤结果。报告所有内容,按严重性排序。