使用PICT设计配对测试用例
PICT是微软的组合测试生成工具。给它一个模型(参数、参数值以及关于哪些值不能同时存在的规则),它会返回一组覆盖所有值对的最小测试用例。大多数缺陷是由单个值或两个值的交互触发的,因此这种方法能以较小的规模发现大部分穷举测试能发现的问题。
在这里,你的工作分为两部分,且分工明确:
- 模型是你负责的部分。 选择参数、挑选代表性值、将实际业务规则编码为约束条件,这些是思考工作,决定了测试的质量。
- 组合是PICT负责的部分。 在约束条件下用尽可能少的行覆盖所有值对是一个困难的搜索问题。人类和语言模型都不擅长此道:手工构建的表格会遗漏值对、破坏约束条件,但看起来却完全合理。因此,你提供的每一个测试用例表都必须来自真正的PICT运行。如果无法运行PICT,你应交付模型并说明原因。你自己不能编写测试行,即使是对于小模型也不行。
这一规则是输出结果可信的关键,也是用户选择使用此技能而非直接要求“一些测试组合”的原因。
工作流程
- 检查技术是否适用
- 定位PICT
- 构建模型
- 运行PICT
- 检查结果
- 呈现测试用例
1. 检查技术是否适用
当存在 三个或以上可自由组合的参数 且其交互可能有影响时,配对测试才有价值。如果不适用,应说明并退出,而非强行构建模型:
- 两个参数:全配对就是所有组合。直接列出即可,PICT没有用处。
- 具有少数输入的单一函数、步骤序列、状态机、时间、负载:其他技术更合适(如边界值、状态转换测试等)。推荐合适的技术,并可继续提供帮助而不使用此技能。
此处的范围是 测试设计:输入组合的表。将行转换为可执行测试代码是单独的任务;仅在被要求时才执行,且应在表格存在之后。
2. 定位PICT
运行捆绑的检测脚本。它是只读且离线的。
sh <skill-dir>/scripts/find-pict.sh # Linux, macOS, WSL, Git Bash
powershell -NoProfile -ExecutionPolicy Bypass -File <skill-dir>\scripts\find-pict.ps1 # Windows
如果用户告诉了你二进制文件的位置,请传入参数:PICT_BIN=/path/to/pict sh .../find-pict.sh。
它输出 key=value 格式的行:
status=found
path=/usr/local/bin/pict
source=PATH
flags=o d a n e r c s
path是要运行的可执行文件。从此处开始使用该确切路径。flags列出了此二进制文件支持的选项字母。发布版本(3.7.4,通过Homebrew和官方Windows下载获取的版本)支持o d a n e r c s。较新的源码构建会添加其他选项,如b(最佳N次种子)和t(线程)。仅使用其字母出现在flags中的选项;未知选项会导致PICT退出并报错。如果用户要求的选项二进制文件不支持,请告知他们并提供可行的选项。
如果你无法运行脚本,请手动执行相同的检查:先检查 PICT_BIN 环境变量,然后检查PATH上的 pict,最后检查缓存目录(~/.cache/pict-skill/ 或 %LOCALAPPDATA%\pict-skill\)。不带参数运行候选程序,并确认其输出了“Pairwise Independent Combinatorial Testing”及其选项列表。
当 status=missing 时: 阅读 references/installing-pict.md 并参照执行。简而言之:未经用户明确同意,绝不安装、下载或构建任何软件,因为获取和编译软件是其决定,而非请求测试用例的副作用。提供选项,让用户选择。如果用户拒绝,或安装失败,继续执行步骤3,然后在步骤6中使用“无PICT”结尾。
3. 构建模型
模型是一个纯文本文件。首先是参数,然后是可选的子模型,最后是约束条件,按此顺序。
# Checkout - shipping and payment
Destination: Domestic, EU, International
Shipping: Standard, Express, Pickup
Payment: Card, PayPal, Invoice
Coupon: None, Percent, FreeShipping, ~Expired
Cart total: 1, 49, 50, 500
IF [Shipping] = "Pickup" THEN [Destination] = "Domestic";
IF [Payment] = "Invoice" THEN [Cart total] >= 50;
要点:
Name: value, value, ...每行一个参数。#表示注释。- 值不能包含分隔符。引号不起作用:
"a, b"会被当作两个值。请重新表述该值或使用-d更改分隔符。 - 参数仅当每个值都是数字时才是数值型;否则其所有值都是字符串。数值型参数与裸数字比较(
[Cart total] >= 50),字符串型参数与引号内的字符串比较([Payment] = "Invoice")。混用两者是最常见的模型错误。 ~标记用于否定测试的无效值。PICT在每一行中最多放置一个无效值,这样一次不良输入不会掩盖另一个。在约束条件中,不带~书写该值。- 每个约束条件以
;结尾。参数名放在[方括号]中。比较忽略大小写,除非传入了-c。 - 约束条件移除不可能发生的组合。它们不是用于系统应拒绝的组合:被拒绝的组合是需要保留的测试。
给定参数还是自行推导?
- 如果用户直接提供了参数和值,请照单全收,直接进入步骤4。不要就用户已写好的模型重新进行访谈。
- 如果从需求、规格、代码、API或屏幕推导模型,请先阅读
references/modeling-guide.md。它涵盖了如何发现参数、使用等价类和边界值选择值、以及将实际约束与假设区分开来。然后在生成前展示模型:简短的参数及其值列表、约束条件及每条规则所编码的含义、以及你对来源中未明确说明的内容所做的任何假设。请用户确认或纠正。错误的模型会产生一个看起来干净但实际上有漏洞的表格,且PICT无法察觉,因此这是捕获错误成本最低的节点。如果你无法询问(非交互式运行),请继续执行并在结果中突出显示这些假设。
如果约束条件不仅仅是简单的 IF ... THEN ...,或者PICT报告约束错误,请阅读 references/constraints.md。当需要为参数子集提供更高的覆盖度(子模型)、必须保持现有测试用例稳定(播种)、希望从否定测试中排除不相关参数、或需要别名、权重或参数重用时,请阅读 references/advanced.md。
4. 运行PICT
将模型保存为 <name>.pict 并将PICT的输出写入旁边的 <name>.tsv 文件。将它们放在用户指定的位置,或者项目已包含的测试设计文档所在之处。如果没有任何指示,在写入前先询问,以免在仓库根目录下散落文件。
"<path-from-step-2>" checkout.pict > checkout.tsv
- 标准输出是表格:一个标题行,然后是每行一个测试用例,制表符分隔。保持此文件与PICT输出的完全一致;它是这些用例来自引擎的凭据。
- 标准错误输出带有警告和错误。让其到达你处并阅读它。
- 选项用破折号书写:
-o:3、-d:";"。PICT自己的文档显示为/o:3,这是相同的写法,但在Windows(Git Bash)上,以/开头的参数会被shell重写为文件路径。 - 除非被要求,否则不要传递
-r。没有它,同一模型总是产生相同的表格,这能使审查和差异比较有意义。传递-r时,PICT会将所使用的种子输出到标准错误;记录它,以便可以使用-r:<seed>重复运行。
顺序。 默认为配对联(-o:2)。仅在有明确理由时才将其提升为 -o:3,例如已知的三路交互或安全关键区域,并告知用户在行数上的代价。如果只需要加强少数几个参数,请使用子模型而不是提高所有内容的顺序。
5. 检查结果
PICT保证对其接收到的模型的覆盖度。它无法判断模型是否表达了你的本意,并且有一种重要的失败甚至不会产生错误。每次运行后都执行以下检查:
- 退出码。 非零表示没有可用表格:3 选项错误、4 模型错误或文件不可读、5 约束错误。修复原因后重新运行。
- 标准错误。 阅读每一行。有两个警告会使退出码保持为0,但仍然意味着表格错误:
Constraints Warning: Restrictive constraints. Output will not contain following values:一个或多个值没有出现在任何行中,涉及它们的所有内容均被静默地未测试。Constraints Warning: Constraint ... contains unknown parameter. Skipping...该约束中的参数名拼写错误。PICT将整条规则丢弃并生成了不带它的表格。修正名称后重新运行。
- 每个声明的值至少出现在
.tsv文件的一行中。 如果某个值缺失,则约束条件使其不可达。要么约束条件错误(修正它),要么规则确实相互矛盾(告知用户哪些规则冲突以及哪个值丢失)。不要将表格呈现为完整而同时有值缺失。 - 大小。 计算行数并与穷举数量比较,穷举数量是每个参数值数量的乘积。(
-s打印统计信息而非测试用例;其“Combinations”数值是要覆盖的配对数量,而非穷举数量。) - 否定行。 每行最多有一个以
~开头的值。
两条修复规则:
- 修复你自己的错误,最多重新运行三次。 语法错误、类型不匹配和拼写错误由你负责修复。如果第三次尝试仍然失败,请停止并展示模型及PICT的消息给用户,而不是循环尝试。
- 不要为了消除错误而悄悄更改规则。 约束条件代表业务规则。如果规则冲突,这种冲突是对需求的一个发现,通常很有价值。报告它并让用户决定;不要自行删除或放宽约束条件。
6. 呈现测试用例
在对话中展示表格,表格由 .tsv 构建,并在前面添加两列:
| ID | Type | Destination | Shipping | Payment | Coupon | Cart total |
|----|----------|-------------|----------|---------|----------|------------|
| 1 | positive | Domestic | Pickup | Card | None | 49 |
| 2 | negative | EU | Standard | PayPal | ~Expired | 500 |
ID按PICT顺序为行编号。- 当行包含
~值时,Type为negative,否则为positive。
在其后附上:
- 一行摘要:
5个参数,配对联(顺序2):21个测试用例,而非穷举的432个。 .pict和.tsv文件的路径以及使用的确切命令。- 建模过程中做出的假设,以及步骤5中的任何警告或不可达值。
预期结果。 PICT生成输入,而非结果。仅在源材料指定了结果时才添加 Expected 列,并说明其来源(“依据需求4.2”)。如果源材料未作说明,则写 not specified,不要自己编造一个看似合理的结果:一个猜测的预期结果在表格中看起来权威,但会变成错误的测试。对于否定行,预期结果通常是拒绝无效值;仅当源材料定义了特定错误时才明确指出。将 Expected 列放在 .tsv 之外,以使引擎输出和你的推理保持可分离性。
其他格式(CSV、JSON、Gherkin、测试管理导入):在被要求时从 .tsv 转换。不要主动生成。
无PICT。 当PICT不可用且用户选择不安装时,交付:
.pict模型文件,并说明因为PICT未解析过它,所以尚未经过验证,- 一旦PICT可用,可以直接运行的确切命令,
- 参数和约束摘要,以及穷举数量,
- 明确声明未生成测试用例及其原因。
不要包含手工制作的表格“作为预览”或“用于说明”。一个没有覆盖保证的部分表格比没有更糟糕,因为它会被使用。
参考文件
| 阅读 | 场景 |
|---|---|
references/modeling-guide.md | 从需求、规格、API、UI或代码推导模型 |
references/constraints.md | 非平凡约束条件,或来自PICT的任何约束错误 |
references/advanced.md | 子模型、播种、否定测试中排除参数、别名、权重、重用、分隔符 |
references/installing-pict.md | find-pict 报告 status=missing 时 |