Community程式設計與開發github.com

pict-pairwise-testing

使用 Microsoft PICT 設計配對 (all-pairs) 和 n-way 組合測試案例。將需求、規格、API、表單、功能標誌集或配置矩陣轉換為包含參數、值、約束和負向值的 PICT 模型,運行真實的 PICT 引擎,並回傳一個精簡且經檢查的測試案例表。

pict-pairwise-testing 是什麼?

這項技能可讓 AI 代理成為 Microsoft PICT (Pairwise Independent Combinatorial Testing) 的專家前端,用於設計配對 (all-pairs) 或更高階的組合測試案例。其核心工作流程分為兩個關鍵階段:AI 負責建構 PICT 模型(定義參數、代表值及業務規則約束),而 PICT 引擎則負責執行繁重的組合搜尋,以產生最少但覆蓋所有值對的測試案例。此技能強調模型建構的正確性至關重要,並且嚴格要求測試案例必須直接來自 PICT 引擎,而非由 AI 自行編寫,以確保結果的可信度。它支援 macOS、Linux 和 Windows 平台,並內建了 PICT 二進位檔的檢測流程、簡潔的模型語法、對負向測試(使用 ~ 前綴)的支援,以及對結果的全面檢查步驟,包括驗證每個宣告的值是否至少出現在一個測試案例中。當 PICT 不可用時,此技能會提供模型檔案和執行指令,但不會生成未經驗證的測試案例表格。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/radekBednarik/skills/tree/HEAD/skills/pict-pairwise-testing

Installed? Explore more 程式設計與開發 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

使用 PICT 進行配對測試設計

PICT 是微軟的組合測試生成器。只要提供一個模型(參數、它們的值,以及關於哪些值不能組合在一起的規則),它就會回傳一組精簡的測試案例,其中每一對值至少出現一次。大多數缺陷是由單一值或兩個值的互動所觸發,因此這種方法能以極小的規模,發現窮舉測試所能找到的大部分缺陷。

你的工作分為兩個部分,區分這兩部分很重要:

  • 模型是你的工作。 選擇參數、挑選代表值、以及將真實的業務規則編碼為約束,這正是思考發生的地方,也是決定測試品質的關鍵。
  • 組合是 PICT 的工作。 在約束條件下,用最少的行數覆蓋每一對值,是一個困難的搜尋問題。人類和語言模型都不擅長此道:手動建立的表格看起來非常合理,但卻會遺漏配對並破壞約束。因此,你交付的每個測試案例表格都來自實際的 PICT 執行。如果無法執行 PICT,你將交付模型並說明情況。你不得自行編寫測試案例行,即使對於一個很小的模型也是如此。

這條規則正是使輸出結果值得信賴的原因,也是用戶使用此技能而不是僅僅要求「一些測試組合」的原因。

工作流程

  1. 檢查技術是否適用
  2. 定位 PICT
  3. 建立模型
  4. 執行 PICT
  5. 檢查結果
  6. 呈現測試案例

1. 檢查技術是否適用

當三個或更多參數可以自由組合,且它們的互動可能很重要時,配對測試才值得使用。當技術不適用時,應說明原因並退到一旁,而不是強行建立模型:

  • 兩個參數:所有配對就是所有組合。直接列出即可,PICT 不會增加任何價值。
  • 單一函數有少量輸入、步驟序列、狀態機、時序、負載:其他技術更適合(邊界值、狀態轉換測試等)。請提及具體技術,並提議在沒有此技能的情況下繼續進行。

此處的範圍是測試設計:一個輸入組合的表格。將這些行轉換為可執行的測試程式碼是另一項任務;僅在用戶要求、且表格已存在時才執行。

2. 定位 PICT

執行內建的檢測腳本。它是唯讀且離線的。

sh <skill-dir>/scripts/find-pict.sh                                             # Linux, macOS, WSL, Git Bash
powershell -NoProfile -ExecutionPolicy Bypass -File <skill-dir>\scripts\find-pict.ps1   # Windows

如果用戶告訴你二進位檔的位置,請傳入:PICT_BIN=/path/to/pict sh .../find-pict.sh。

它會印出 key=value 格式的行:

status=found
path=/usr/local/bin/pict
source=PATH
flags=o d a n e r c s
  • path 是要執行的可執行檔。從這裡開始,使用該確切路徑。
  • flags 列出了此二進位檔支援的選項字母。發布的版本(3.7.4,也就是 Homebrew 和官方 Windows 下載提供的版本)支援 o d a n e r c s。較新的原始碼建置版本會新增其他選項,例如 b(最佳 N 個種子)和 t(執行緒)。僅使用其字母存在於 flags 中的選項;未知選項會導致 PICT 退出並報錯。如果用戶要求的功能是二進位檔所缺少的,請告知他們,並提供可行的方案。

如果你無法執行腳本,請手動執行相同的檢查:檢查 PICT_BIN 環境變數,然後檢查 PATH 上的 pict,最後檢查快取目錄(~/.cache/pict-skill/ 或 %LOCALAPPDATA%\pict-skill\)。在沒有任何參數的情況下執行候選項,並確認它會印出 "Pairwise Independent Combinatorial Testing" 及其選項列表。

當 status=missing 時: 閱讀 references/installing-pict.md 並按照指示操作。簡而言之:未經用戶明確同意,切勿安裝、下載或建置任何東西,因為獲取和編譯軟體是他們的決定,而不是請求測試案例的副作用。提供選項,讓他們選擇。如果他們拒絕,或者安裝失敗,請繼續執行步驟 3,然後在步驟 6 中使用「無 PICT」結尾。

3. 建立模型

模型是一個純文字檔案。首先是參數,然後是可選的子模型,最後是約束條件,按此順序排列。

# 結帳 - 運送與付款
目的地: 國內, 歐盟, 國際
運送方式: 標準, 快捷, 自取
付款方式: 信用卡, PayPal, 發票
優惠券: 無, 百分比, 免運費, ~已過期
購物車總額: 1, 49, 50, 500

IF [運送方式] = "自取"  THEN [目的地] = "國內";
IF [付款方式] = "發票" THEN [購物車總額] >= 50;

要點:

  • 名稱: 值, 值, ... 每行一個參數。# 開頭為註解。
  • 一個值不能包含分隔符號。使用引號沒有幫助:"a, b" 會被解讀為兩個值。請重新表述該值,或使用 -d 變更分隔符號。
  • 一個參數僅在其所有值都是數字時才是數值參數;否則其所有值都是字串。數值參數與裸數字進行比較([購物車總額] >= 50),字串參數與帶引號的字串進行比較([付款方式] = "發票")。混合兩者是最常見的模型錯誤。
  • ~ 標記一個用於負向測試的無效值。PICT 在一行中最多放置一個無效值,這樣一個錯誤輸入就不會隱藏另一個錯誤。在約束條件中,撰寫值時不加 ~。
  • 每個約束條件以 ; 結尾。參數名稱放在 [括號] 中。除非傳遞 -c,否則比較忽略大小寫。
  • 約束條件移除不可能發生的組合。它們不是指應該被系統拒絕的組合:一個被拒絕的組合是你想要保留的測試。

直接給定的參數或衍生的參數?

  • 如果用戶直接給了你參數和值,請直接使用,然後直接進入步驟 4。不要對他們已經寫好的模型重新提問。
  • 如果你從需求、規格、程式碼、API 或螢幕衍生模型,請先閱讀 references/modeling-guide.md。它涵蓋了如何找到參數、使用等價類別和邊界值選擇值,以及將真實約束與假設分開。然後在生成之前展示模型:一個簡短的參數及其值列表、約束條件及其編碼的規則,以及你假設但原始資料未說明的任何內容。要求用戶確認或更正。一個錯誤的模型會產生一個看起來很整潔但存在漏洞的表格,而 PICT 無法察覺,因此這是最便宜的發現問題的環節。如果你無法詢問(非互動式執行),請繼續進行,並在結果中顯著列出這些假設。

當約束條件超過簡單的 IF ... THEN ... 時,或者當 PICT 報告約束條件錯誤時,請閱讀 references/constraints.md。當你需要為參數子集提供更高覆蓋率(子模型)、必須保持現有測試案例穩定(播種)、希望從負向測試中排除不相關的參數,或需要別名、權重或參數重用時,請閱讀 references/advanced.md。

4. 執行 PICT

將模型儲存為 <名稱>.pict,並將 PICT 的輸出寫入其旁邊的 <名稱>.tsv。將它們放在用戶要求的位置,或專案已經存放測試設計文件的地方。如果沒有任何指示,請在寫入之前先詢問,而不是將檔案散落在儲存庫根目錄中。

"<步驟-2-的路徑>" checkout.pict > checkout.tsv
  • 標準輸出即為表格:一個標題行,然後每行一個測試案例,以定位字元分隔。保留此檔案完全按照 PICT 寫入的內容;這是案例來自引擎的證據。
  • 標準錯誤會攜帶警告和錯誤。讓它到達你這邊並閱讀它。
  • 使用短橫線撰寫選項:-o:3、-d:";"。PICT 自己的文件顯示 /o:3,這是相同的東西,但 Windows(Git Bash)上的 Shell 會將以 / 開頭的引數重寫為檔案路徑。
  • 除非被要求,否則不要傳遞 -r。沒有它,相同的模型總是產生相同的表格,這使得審查和差異比較有意義。使用 -r 時,PICT 會將它使用的種子印到標準錯誤;請記錄下來,以便可以使用 -r:<種子> 重複執行。

順序。 預設是配對(-o:2)。僅在有明確理由時才將其提高到 -o:3,例如已知的三向互動或安全關鍵區域,並告訴用戶這在行數上的成本。要僅加強幾個參數,請使用子模型而不是提高所有內容的順序。

5. 檢查結果

PICT 保證對提供給它的模型進行覆蓋。它無法判斷模型是否表達了預期的意思,而且一個重要的失敗甚至不會產生錯誤。每次執行都要進行以下檢查:

  1. 退出碼。 非零值表示沒有可用的表格:3 個錯誤選項,4 個錯誤模型或無法讀取的檔案,5 個錯誤約束條件。修復原因並重新執行。
  2. 標準錯誤。 閱讀每一行。有兩個警告會使退出碼保持為 0,但仍然意味著表格是錯誤的:
    • Constraints Warning: Restrictive constraints. Output will not contain following values: 一個或多個值沒有出現在任何行中,因此涉及它們的所有內容都被默默地未經測試。
    • Constraints Warning: Constraint ... contains unknown parameter. Skipping... 該約束條件中的參數名稱拼寫錯誤。PICT 放棄了整個規則,並在沒有它的情況下生成了表格。修正名稱並重新執行。
  3. 每個宣告的值都至少出現在 .tsv 的一行中。 如果缺少一個,則表示約束條件使其無法到達。要嘛約束條件錯誤(修正它),要嘛規則確實相互矛盾(告訴用戶哪些規則衝突以及哪個值遺失)。當值缺失時,不要將表格呈現為完整。
  4. 大小。 計算行數並與窮舉計數進行比較,窮舉計數是每個參數的值的乘積。(-s 列印統計資料而不是測試案例;其 "Combinations" 數字是要覆蓋的配對數,而不是窮舉計數。)
  5. 負向行。 每行最多有一個以 ~ 開頭的值。

兩個修復規則:

  • 修正你自己的錯誤,最多三次重新執行。 語法錯誤、類型不匹配和拼寫錯誤是你需要修正的。如果第三次嘗試仍然失敗,請停止,並向用戶展示模型和 PICT 的訊息,而不是繼續循環。
  • 不要為了消除錯誤而悄悄更改規則。 一個約束條件代表一個業務規則。如果規則衝突,這個衝突就是關於需求的一個發現,通常是有價值的。報告它並讓用戶決定;不要自行刪除或放寬約束條件。

6. 呈現測試案例

在對話中顯示表格,該表格是從 .tsv 建構的,並在前面增加了兩列:

| ID | 類型     | 目的地   | 運送方式 | 付款方式 | 優惠券   | 購物車總額 |
|----|----------|----------|----------|----------|----------|------------|
| 1  | positive | 國內     | 自取     | 信用卡   | 無       | 49         |
| 2  | negative | 歐盟     | 標準     | PayPal   | ~已過期 | 500        |
  • ID 按照 PICT 的順序為行編號。
  • 類型 在該行包含 ~ 值時為 negative,否則為 positive。

在其後附上:

  • 一行摘要:5 個參數,配對(順序 2):21 個測試案例,而非 432 個窮舉案例。
  • .pict 和 .tsv 檔案的路徑以及使用的確切命令。
  • 建模時所做的假設,以及來自步驟 5 的任何警告或無法到達的值。

預期結果。 PICT 產生輸入,而非結果。僅在原始資料陳述了結果時才添加「預期結果」列,並說明其來源(「根據需求 4.2」)。如果原始資料沒有說明,請撰寫 not specified,不要發明一個看似合理的結果:一個猜測的預期結果在表格中看起來具有權威性,並會變成一個錯誤的測試。對於負向行,預期結果通常是拒絕無效值;僅在原始資料定義了特定錯誤時才說明它。將「預期結果」保留在 .tsv 之外,以便引擎輸出和你的推理保持可分離。

其他格式(CSV、JSON、Gherkin、測試管理匯入):在要求時從 .tsv 進行轉換。不要主動產生它們。

無 PICT。 當 PICT 不可用且用戶選擇不安裝時,請交付:

  • .pict 模型檔案,附帶說明該模型尚未被驗證,因為 PICT 尚未解析它,
  • 一旦 PICT 可用時要執行的確切命令,
  • 參數和約束條件摘要,以及窮舉計數,
  • 一份明確的陳述,說明未產生任何測試案例及其原因。

不要包含手動製作的表格「作為預覽」或「用於說明」。沒有覆蓋保證的部分表格比沒有更糟,因為它會被使用。

參考檔案

閱讀時機
references/modeling-guide.md從需求、規格、API、UI 或程式碼衍生模型時
references/constraints.md處理非平凡的約束條件,或來自 PICT 的任何約束條件錯誤時
references/advanced.md需要子模型、播種、在負向測試中排除參數、別名、權重、重用、分隔符號時
references/installing-pict.mdfind-pict 報告 status=missing 時

相關技能