使用 PICT 進行配對測試設計
PICT 是微軟的組合測試生成器。只要提供一個模型(參數、它們的值,以及關於哪些值不能組合在一起的規則),它就會回傳一組精簡的測試案例,其中每一對值至少出現一次。大多數缺陷是由單一值或兩個值的互動所觸發,因此這種方法能以極小的規模,發現窮舉測試所能找到的大部分缺陷。
你的工作分為兩個部分,區分這兩部分很重要:
- 模型是你的工作。 選擇參數、挑選代表值、以及將真實的業務規則編碼為約束,這正是思考發生的地方,也是決定測試品質的關鍵。
- 組合是 PICT 的工作。 在約束條件下,用最少的行數覆蓋每一對值,是一個困難的搜尋問題。人類和語言模型都不擅長此道:手動建立的表格看起來非常合理,但卻會遺漏配對並破壞約束。因此,你交付的每個測試案例表格都來自實際的 PICT 執行。如果無法執行 PICT,你將交付模型並說明情況。你不得自行編寫測試案例行,即使對於一個很小的模型也是如此。
這條規則正是使輸出結果值得信賴的原因,也是用戶使用此技能而不是僅僅要求「一些測試組合」的原因。
工作流程
- 檢查技術是否適用
- 定位 PICT
- 建立模型
- 執行 PICT
- 檢查結果
- 呈現測試案例
1. 檢查技術是否適用
當三個或更多參數可以自由組合,且它們的互動可能很重要時,配對測試才值得使用。當技術不適用時,應說明原因並退到一旁,而不是強行建立模型:
- 兩個參數:所有配對就是所有組合。直接列出即可,PICT 不會增加任何價值。
- 單一函數有少量輸入、步驟序列、狀態機、時序、負載:其他技術更適合(邊界值、狀態轉換測試等)。請提及具體技術,並提議在沒有此技能的情況下繼續進行。
此處的範圍是測試設計:一個輸入組合的表格。將這些行轉換為可執行的測試程式碼是另一項任務;僅在用戶要求、且表格已存在時才執行。
2. 定位 PICT
執行內建的檢測腳本。它是唯讀且離線的。
sh <skill-dir>/scripts/find-pict.sh # Linux, macOS, WSL, Git Bash
powershell -NoProfile -ExecutionPolicy Bypass -File <skill-dir>\scripts\find-pict.ps1 # Windows
如果用戶告訴你二進位檔的位置,請傳入:PICT_BIN=/path/to/pict sh .../find-pict.sh。
它會印出 key=value 格式的行:
status=found
path=/usr/local/bin/pict
source=PATH
flags=o d a n e r c s
path是要執行的可執行檔。從這裡開始,使用該確切路徑。flags列出了此二進位檔支援的選項字母。發布的版本(3.7.4,也就是 Homebrew 和官方 Windows 下載提供的版本)支援o d a n e r c s。較新的原始碼建置版本會新增其他選項,例如b(最佳 N 個種子)和t(執行緒)。僅使用其字母存在於flags中的選項;未知選項會導致 PICT 退出並報錯。如果用戶要求的功能是二進位檔所缺少的,請告知他們,並提供可行的方案。
如果你無法執行腳本,請手動執行相同的檢查:檢查 PICT_BIN 環境變數,然後檢查 PATH 上的 pict,最後檢查快取目錄(~/.cache/pict-skill/ 或 %LOCALAPPDATA%\pict-skill\)。在沒有任何參數的情況下執行候選項,並確認它會印出 "Pairwise Independent Combinatorial Testing" 及其選項列表。
當 status=missing 時: 閱讀 references/installing-pict.md 並按照指示操作。簡而言之:未經用戶明確同意,切勿安裝、下載或建置任何東西,因為獲取和編譯軟體是他們的決定,而不是請求測試案例的副作用。提供選項,讓他們選擇。如果他們拒絕,或者安裝失敗,請繼續執行步驟 3,然後在步驟 6 中使用「無 PICT」結尾。
3. 建立模型
模型是一個純文字檔案。首先是參數,然後是可選的子模型,最後是約束條件,按此順序排列。
# 結帳 - 運送與付款
目的地: 國內, 歐盟, 國際
運送方式: 標準, 快捷, 自取
付款方式: 信用卡, PayPal, 發票
優惠券: 無, 百分比, 免運費, ~已過期
購物車總額: 1, 49, 50, 500
IF [運送方式] = "自取" THEN [目的地] = "國內";
IF [付款方式] = "發票" THEN [購物車總額] >= 50;
要點:
名稱: 值, 值, ...每行一個參數。#開頭為註解。- 一個值不能包含分隔符號。使用引號沒有幫助:
"a, b"會被解讀為兩個值。請重新表述該值,或使用-d變更分隔符號。 - 一個參數僅在其所有值都是數字時才是數值參數;否則其所有值都是字串。數值參數與裸數字進行比較(
[購物車總額] >= 50),字串參數與帶引號的字串進行比較([付款方式] = "發票")。混合兩者是最常見的模型錯誤。 ~標記一個用於負向測試的無效值。PICT 在一行中最多放置一個無效值,這樣一個錯誤輸入就不會隱藏另一個錯誤。在約束條件中,撰寫值時不加~。- 每個約束條件以
;結尾。參數名稱放在[括號]中。除非傳遞-c,否則比較忽略大小寫。 - 約束條件移除不可能發生的組合。它們不是指應該被系統拒絕的組合:一個被拒絕的組合是你想要保留的測試。
直接給定的參數或衍生的參數?
- 如果用戶直接給了你參數和值,請直接使用,然後直接進入步驟 4。不要對他們已經寫好的模型重新提問。
- 如果你從需求、規格、程式碼、API 或螢幕衍生模型,請先閱讀
references/modeling-guide.md。它涵蓋了如何找到參數、使用等價類別和邊界值選擇值,以及將真實約束與假設分開。然後在生成之前展示模型:一個簡短的參數及其值列表、約束條件及其編碼的規則,以及你假設但原始資料未說明的任何內容。要求用戶確認或更正。一個錯誤的模型會產生一個看起來很整潔但存在漏洞的表格,而 PICT 無法察覺,因此這是最便宜的發現問題的環節。如果你無法詢問(非互動式執行),請繼續進行,並在結果中顯著列出這些假設。
當約束條件超過簡單的 IF ... THEN ... 時,或者當 PICT 報告約束條件錯誤時,請閱讀 references/constraints.md。當你需要為參數子集提供更高覆蓋率(子模型)、必須保持現有測試案例穩定(播種)、希望從負向測試中排除不相關的參數,或需要別名、權重或參數重用時,請閱讀 references/advanced.md。
4. 執行 PICT
將模型儲存為 <名稱>.pict,並將 PICT 的輸出寫入其旁邊的 <名稱>.tsv。將它們放在用戶要求的位置,或專案已經存放測試設計文件的地方。如果沒有任何指示,請在寫入之前先詢問,而不是將檔案散落在儲存庫根目錄中。
"<步驟-2-的路徑>" checkout.pict > checkout.tsv
- 標準輸出即為表格:一個標題行,然後每行一個測試案例,以定位字元分隔。保留此檔案完全按照 PICT 寫入的內容;這是案例來自引擎的證據。
- 標準錯誤會攜帶警告和錯誤。讓它到達你這邊並閱讀它。
- 使用短橫線撰寫選項:
-o:3、-d:";"。PICT 自己的文件顯示/o:3,這是相同的東西,但 Windows(Git Bash)上的 Shell 會將以/開頭的引數重寫為檔案路徑。 - 除非被要求,否則不要傳遞
-r。沒有它,相同的模型總是產生相同的表格,這使得審查和差異比較有意義。使用-r時,PICT 會將它使用的種子印到標準錯誤;請記錄下來,以便可以使用-r:<種子>重複執行。
順序。 預設是配對(-o:2)。僅在有明確理由時才將其提高到 -o:3,例如已知的三向互動或安全關鍵區域,並告訴用戶這在行數上的成本。要僅加強幾個參數,請使用子模型而不是提高所有內容的順序。
5. 檢查結果
PICT 保證對提供給它的模型進行覆蓋。它無法判斷模型是否表達了預期的意思,而且一個重要的失敗甚至不會產生錯誤。每次執行都要進行以下檢查:
- 退出碼。 非零值表示沒有可用的表格:3 個錯誤選項,4 個錯誤模型或無法讀取的檔案,5 個錯誤約束條件。修復原因並重新執行。
- 標準錯誤。 閱讀每一行。有兩個警告會使退出碼保持為 0,但仍然意味著表格是錯誤的:
Constraints Warning: Restrictive constraints. Output will not contain following values:一個或多個值沒有出現在任何行中,因此涉及它們的所有內容都被默默地未經測試。Constraints Warning: Constraint ... contains unknown parameter. Skipping...該約束條件中的參數名稱拼寫錯誤。PICT 放棄了整個規則,並在沒有它的情況下生成了表格。修正名稱並重新執行。
- 每個宣告的值都至少出現在
.tsv的一行中。 如果缺少一個,則表示約束條件使其無法到達。要嘛約束條件錯誤(修正它),要嘛規則確實相互矛盾(告訴用戶哪些規則衝突以及哪個值遺失)。當值缺失時,不要將表格呈現為完整。 - 大小。 計算行數並與窮舉計數進行比較,窮舉計數是每個參數的值的乘積。(
-s列印統計資料而不是測試案例;其 "Combinations" 數字是要覆蓋的配對數,而不是窮舉計數。) - 負向行。 每行最多有一個以
~開頭的值。
兩個修復規則:
- 修正你自己的錯誤,最多三次重新執行。 語法錯誤、類型不匹配和拼寫錯誤是你需要修正的。如果第三次嘗試仍然失敗,請停止,並向用戶展示模型和 PICT 的訊息,而不是繼續循環。
- 不要為了消除錯誤而悄悄更改規則。 一個約束條件代表一個業務規則。如果規則衝突,這個衝突就是關於需求的一個發現,通常是有價值的。報告它並讓用戶決定;不要自行刪除或放寬約束條件。
6. 呈現測試案例
在對話中顯示表格,該表格是從 .tsv 建構的,並在前面增加了兩列:
| ID | 類型 | 目的地 | 運送方式 | 付款方式 | 優惠券 | 購物車總額 |
|----|----------|----------|----------|----------|----------|------------|
| 1 | positive | 國內 | 自取 | 信用卡 | 無 | 49 |
| 2 | negative | 歐盟 | 標準 | PayPal | ~已過期 | 500 |
ID按照 PICT 的順序為行編號。類型在該行包含~值時為negative,否則為positive。
在其後附上:
- 一行摘要:
5 個參數,配對(順序 2):21 個測試案例,而非 432 個窮舉案例。 .pict和.tsv檔案的路徑以及使用的確切命令。- 建模時所做的假設,以及來自步驟 5 的任何警告或無法到達的值。
預期結果。 PICT 產生輸入,而非結果。僅在原始資料陳述了結果時才添加「預期結果」列,並說明其來源(「根據需求 4.2」)。如果原始資料沒有說明,請撰寫 not specified,不要發明一個看似合理的結果:一個猜測的預期結果在表格中看起來具有權威性,並會變成一個錯誤的測試。對於負向行,預期結果通常是拒絕無效值;僅在原始資料定義了特定錯誤時才說明它。將「預期結果」保留在 .tsv 之外,以便引擎輸出和你的推理保持可分離。
其他格式(CSV、JSON、Gherkin、測試管理匯入):在要求時從 .tsv 進行轉換。不要主動產生它們。
無 PICT。 當 PICT 不可用且用戶選擇不安裝時,請交付:
.pict模型檔案,附帶說明該模型尚未被驗證,因為 PICT 尚未解析它,- 一旦 PICT 可用時要執行的確切命令,
- 參數和約束條件摘要,以及窮舉計數,
- 一份明確的陳述,說明未產生任何測試案例及其原因。
不要包含手動製作的表格「作為預覽」或「用於說明」。沒有覆蓋保證的部分表格比沒有更糟,因為它會被使用。
參考檔案
| 閱讀 | 時機 |
|---|---|
references/modeling-guide.md | 從需求、規格、API、UI 或程式碼衍生模型時 |
references/constraints.md | 處理非平凡的約束條件,或來自 PICT 的任何約束條件錯誤時 |
references/advanced.md | 需要子模型、播種、在負向測試中排除參數、別名、權重、重用、分隔符號時 |
references/installing-pict.md | find-pict 報告 status=missing 時 |