查找冗余检查 是做什么的?
一个检查可能耗费时间却没有带来缺陷检测能力。它可能重复守卫同一断言、守护的层级过高、测试已不存在的代码,或属于每个用例都为相同设置买单的测试套件。
覆盖相等≠冗余。两个用例可以执行相同代码但断言完全不同:不同的预言机、不同的输入、不同的边界。覆盖率只说明什么代码运行过,从不说明什么被检查过。一个用例被另一个用例覆盖的唯一证明是:存活下来的用例能捕获同样的故障。
真正重要的失败
删除错误的用例在实践中是不可逆的,因为“它存在于版本历史中”不是恢复计划;没有人会留意被删除的用例本应捕获的缺陷。镜像失败同样常见。一个套件被声明为冗余并缩减为快速集合后,可能不再捕获任何东西。
一个发现不是“这些看起来重复”。对于每个用例,报告它所做的断言、使其变红的故障,以及该断言之后在哪里被覆盖,或者明确说明保留它。 一个从未失败的用例并不因此毫无价值。它通常守卫着低变率、稳定的代码。调查变率和风险,绝不要仅凭绿色记录就删除。
流程
-
测量语料库。从运行器自身的机器可读报告中获取每个用例的成本,并根据既定规则,将命令返回而不执行。将共享进程的设置归因于支付该设置的用例,按节省的秒数排序,从上往下处理;排序就是工作清单,“看起来很慢”从来不是衡量标准。
-
映射断言,每个用例文件一行:层级(单元/集成/请求/系统/端到端)、它涵盖的生产代码、每个不同的断言单独一行、它驱动的真实库、它使用的替身、其测量成本以及建议的变更。
-
命名故障 对于每个断言,是哪个真实的生产变更使其变红。没有可命名的故障是使用例成为候选的条件。把测试花费在项目实际会出问题的地方:复杂条件、金钱、安全、有缺陷历史的代码。
-
分类,每个用例一个处置,从不分组:
处置 含义 操作 冗余 被子sumed,相同的断言并且存活的用例捕获相同的故障 合并或删除,但仅当突变检查确认子sumption之后 过时 测试一个不再存在的特性、路径或标志 删除,确认目标确实已移除之后 低价值 从未失败 并且 琐碎、无有意义断言 隔离并审查;低价值不是零价值 保留 唯一覆盖某些内容、曾捕获过真实缺陷或守卫高风险路径 保留,无论重叠情况如何 -
按相似性聚类近重复,而不是按文件名。先对文件进行哈希并比较同名的配对,然后比较标准化结构(token 或 AST shingling)以及测量成本轮廓。一个聚类是一组待审查的候选,绝不是一次删除。
-
检查层级。一个断言属于能保留其故障模式的最便宜层级。内存中的逻辑属于单元测试;高级别用例只保留低层级无法捕获的内容,例如 wiring、配置或每个关键流程的一个快乐路径。当高级别用例和低层级用例检查同一个断言时,耗时多的那个是候选。在公共边界处断言,这样行为保持的重构不会使其变红;当项目将工作交给库时,断言是移交的数据,再加上一个测试库接受该数据的冒烟用例。
-
基于风险和缺陷历史分层,运行时最后考虑。快速层是关键路径守卫加上曾捕获真实缺陷的用例;运行时仅用于打破平局。将层级编码为选择、配置文件、标记、标签,绝不要通过移动文件,并且每个用例都归属于某个层级。
修复
- 默认裁决是精简。少数慢速用例不是问题;不要凭空制造削减。如果套件已经根据其风险足够精简,就说明情况并停止。
- 应用第一个合适的操作。删除(没有可命名的故障,或者相同断言出现在相同或更便宜层级)、降级(真实断言位于高于其最便宜层级,在更低层级编写并丢弃昂贵检查)、合并(共享 arrange/act 的近重复变为一个参数化用例)、重写(真实断言位于脆弱或过度模拟的用例中)、修复不稳定、保留。
- 护栏。绝不要移除项目拥有的唯一守卫:每个移除都要说明其断言在哪里继续被覆盖,或者为什么该断言不属于我们。保留列表除非所有者另有说明,否则维持不变:与真实缺陷相关的回归用例、边界处的契约用例、消费者依赖的错误文本或格式、属性和不变式用例,以及任何涉及金钱、认证或权限的内容。速度永远不能换取更弱的断言;通过移除断言来使测试变快是一种删除,需要删除的证据。未经询问,不得引入新工具(突变运行器、每个测试的覆盖率工具)。
- 安排工作顺序:首先是不改变任何用例的杠杆(配置、环境、并行化),然后降级和重写,替换项先编写并通过测试 FIRST,然后删除,每次部署到一个替换项已通过的套件,最后分层,确保层级只包含通过削减后存活的用例。每批一个提交;红色批被回滚并从回滚状态诊断,然后以更小的批次重试。
- 删除是破坏性的,因此有分级流程。首先隔离:跳过用例并注明原因和审计行 ID,或标记为已弃用,使其停止运行但保持可恢复。然后所有者批准该组;代理不得仅凭自身阅读就删除测试。然后运行观察窗口,隔离该组并监控其本应捕获的缺陷;如果缺陷逃脱,说明它不是冗余的,该用例被恢复。只有这样才能以小批量删除,每批链接到其审计行。
- 审计记录被提交,每个移除一行:用例路径、处置和原因、取代它的存活用例、节省的测量成本、批准人及版本和日期、以及单行恢复路径。一行无法填写就是一个不能被删除的用例。
报告
以语料库开始,按节省的秒数排序:
| 用例 | 成本 | 断言 | 处置 | 断言在哪里被覆盖 |
|---|---|---|---|---|
device_suite (14 cases) | 每条 9 到 14 秒 | 传递给驱动程序的数据 | 降级 | 无设备的相同断言 |
test_parse_b | 0.2 秒 | 解析器拒绝错误 token | 冗余 | test_parse_a,相同预言机 |
test_empty | 0.1 秒 | 空输入产生空结果 | 保留 | 唯一覆盖它的用例 |
test_totals | 0.1 秒 | 总和正确 | 保留 | 曾捕获真实缺陷 |
然后,每个发现:断言、它会捕获的故障、捕获相同故障的幸存者、以及节省的秒数。
最后以四个桶结束:
- 已删除:连同其审计行和恢复路径。
- 已隔离:已排除,但仍被收集,等待观察窗口。
- 已提议:等待所有者决策的批次。
- 保留:声明以便阅读可见;大型或缓慢但一致是一种发现,不是一次削减。
在任何内容被删除之前: 每一行冗余都附带突变结果,否则它仍然是一个隔离并带有开放行,报告如此说明而不是声称删除;隔离阶段没有内容被移除;层级选择仅返回其组,每个用例属于一个;并且日志中没有空白的 superseded_by、成本或批准字段。
通过证明子sumption来削减套件,而不是通过读覆盖率。
致谢
改编自两个 MIT 项目:
- petrkindlmann/qa-skills (https://github.com/petrkindlmann/qa-skills),版权所有 (c) 2026 Petr Kindlmann,语料库级审计、覆盖相等规则和破坏性安全分级流程。
- svyatov/supermatt (https://github.com/svyatov/supermatt),版权所有 (c) 2026 Matt Pocock 和 Leonid Svyatov,操作集和护栏。
仓库 README 包含完整的许可证声明,列出每一位权利人;重新分发时本文件旁必须保留一份副本。