PICT によるペアワイズテスト設計
PICT はマイクロソフトの組合せテスト生成ツールです。パラメータ、その値、およびどの値を組み合わせることができないかに関するルールを記述したモデルを与えると、すべての値のペアが少なくとも一度は出現する、少数のテストケースセットを返します。ほとんどの欠陥は単一の値か、2つの値の相互作用によって引き起こされるため、この手法は全数テストに比べてごく一部のサイズで、ほとんどの欠陥を発見できます。
あなたの作業は2つに分かれており、その区別は重要です:
- モデルはあなたの作業です。 パラメータの選択、代表的な値の選定、実際のビジネスルールを制約としてエンコードすることは、思考を要する部分であり、テストの品質を左右します。
- 組み合わせは PICT の作業です。 制約の下で、すべてのペアを少ない行数でカバーすることは、困難な探索問題です。人間と言語モデルはこれが苦手です。手作業で作成したテーブルは、一見もっともに見えてもペアを見逃したり、制約を破ったりします。したがって、あなたが提供するすべてのテストケーステーブルは、実際の PICT 実行に基づくものです。PICT を実行できない場合は、モデルを提供し、その旨を伝えます。たとえ小さなモデルであっても、自分で行を記述してはいけません。
この唯一のルールこそが出力を信頼できるものにし、ユーザーが「いくつかのテストの組み合わせ」を依頼するのではなく、このスキルを使用する理由です。
ワークフロー
- 手法が適切かを確認する
- PICT を見つける
- モデルを構築する
- PICT を実行する
- 結果を確認する
- テストケースを提示する
1. 手法が適切かを確認する
ペアワイズは、自由に組み合わせることができるパラメータが3つ以上あり、それらの相互作用が問題になる可能性がある場合に有効です。当てはまらない場合は、モデルを無理に作らずにその旨を伝え、作業を中断します:
- パラメータが2つ: 全ペアは単にすべての組み合わせです。それらを列挙するだけで、PICT は不要です。
- 少数の入力を持つ1つの関数、一連のステップ、状態機械、タイミング、負荷: 他の手法(境界値分析、状態遷移テストなど)が適切です。適切な手法を提案し、このスキルを使わずに続行することを提案します。
ここでの範囲はテスト設計です。つまり、入力の組み合わせのテーブルです。行を実行可能なテストコードに変換することは別のタスクであり、テーブルが存在した後でのみ、要求された場合に行います。
2. PICT を見つける
バンドルされた検出スクリプトを実行します。これは読み取り専用でオフラインで動作します。
sh <skill-dir>/scripts/find-pict.sh # Linux, macOS, WSL, Git Bash
powershell -NoProfile -ExecutionPolicy Bypass -File <skill-dir>\scripts\find-pict.ps1 # Windows
ユーザーがバイナリの場所を教えてくれた場合は、それを渡します: PICT_BIN=/path/to/pict sh .../find-pict.sh
このスクリプトは key=value 形式の行を出力します:
status=found
path=/usr/local/bin/pict
source=PATH
flags=o d a n e r c s
pathは実行可能ファイルのパスです。以降はこの正確なパスを使用します。flagsは、このバイナリがサポートするオプション文字の一覧です。リリース版(3.7.4、Homebrew や公式 Windows ダウンロードで提供されるもの)は正確にo d a n e r c sをサポートします。新しいソースビルドでは、b(ベストオブNシード)やt(スレッド)など、他のオプションが追加される場合があります。flagsに含まれるオプション文字のみを使用してください。未知のオプションを指定すると、PICT はエラーで終了します。ユーザーがバイナリにない機能を要求した場合は、その旨を伝え、代わりに何ができるかを提案します。
スクリプトを実行できない場合は、同じチェックを手動で行います: PICT_BIN 環境変数、次に PATH 上の pict、次にキャッシュディレクトリ(~/.cache/pict-skill/ または %LOCALAPPDATA%\pict-skill\)を確認します。候補となる実行ファイルを引数なしで実行し、「Pairwise Independent Combinatorial Testing」とそれに続くオプション一覧が出力されることを確認します。
status=missing の場合: references/installing-pict.md を読んで従ってください。簡単に言うと、ユーザーの明示的な許可なしに何もインストール、ダウンロード、ビルドしてはいけません。ソフトウェアの取得とコンパイルはユーザーの判断であり、テストケースを依頼した副作用ではないからです。選択肢を提示し、ユーザーに選んでもらいます。ユーザーが拒否した場合、またはインストールが失敗した場合は、ステップ3に進み、ステップ6で「PICT なし」の結末を使用します。
3. モデルを構築する
モデルはプレーンテキストファイルです。最初にパラメータ、次にオプションのサブモデル、最後に制約を、その順序で記述します。
# Checkout - shipping and payment
Destination: Domestic, EU, International
Shipping: Standard, Express, Pickup
Payment: Card, PayPal, Invoice
Coupon: None, Percent, FreeShipping, ~Expired
Cart total: 1, 49, 50, 500
IF [Shipping] = "Pickup" THEN [Destination] = "Domestic";
IF [Payment] = "Invoice" THEN [Cart total] >= 50;
必須事項:
名前: 値, 値, ...1行に1つのパラメータ。#はコメントの開始です。- 値に区切り文字を含めることはできません。引用符は役に立ちません:
"a, b"は2つの値として読み取られます。値を言い換えるか、-dで区切り文字を変更します。 - パラメータが数値とみなされるのは、そのすべての値が数値である場合のみです。そうでない場合、すべての値は文字列として扱われます。数値パラメータは引用符なしの数値と比較され(
[Cart total] >= 50)、文字列パラメータは引用符で囲まれた文字列と比較されます([Payment] = "Invoice")。この2つを混在させることは、最も一般的なモデルエラーです。 ~は、ネガティブテストのための無効な値を示します。PICT は1行に最大1つの無効な値しか配置しないため、1つの不良入力が他の不良入力を隠すことはありません。制約の中では、~なしで値を記述します。- すべての制約は
;で終わります。パラメータ名は[角括弧]で囲みます。比較では、-cを渡さない限り大文字小文字を区別しません。 - 制約は、発生し得ない組み合わせを除外するものです。システムによって拒否されるべき組み合わせのためのものではありません。拒否される組み合わせは、保持したいテストです。
パラメータが与えられた場合、それとも自分で導出する場合?
- ユーザーがパラメータと値を指定した場合は、そのまま使用してステップ4に進みます。ユーザーがすでに記述したモデルについて、再度聞き直してはいけません。
- 要件、仕様、コード、API、画面からモデルを導出する場合は、最初に
references/modeling-guide.mdを読んでください。パラメータの見つけ方、同値クラスと境界値を使用した値の選び方、実際の制約と仮定の分離方法が説明されています。その後、生成前にモデルを表示します。パラメータとその値の簡単なリスト、各制約とそれがエンコードするルール、およびソースに明示されていないために仮定したことを示します。ユーザーに確認または修正を求めます。間違ったモデルは、きれいに見えるテーブルに穴を作り出し、PICT はそれに気づきません。したがって、これはそれをキャッチするための最も安価な場所です。ユーザーに確認できない場合(非対話型実行)は、そのまま進め、結果の中で仮定を目立つようにリストします。
制約が単純な IF ... THEN ... よりも複雑な場合、または PICT が制約エラーを報告した場合は、references/constraints.md を読んでください。パラメータのサブセットに対してより高いカバレッジが必要な場合(サブモデル)、既存のテストケースを安定して保持する必要がある場合(シーディング)、ネガティブテストから無関係なパラメータを除外する必要がある場合、またはエイリアス、重み、パラメータの再利用が必要な場合は、references/advanced.md を読んでください。
4. PICT を実行する
モデルを <name>.pict として保存し、PICT の出力をその隣に <name>.tsv として書き出します。ユーザーが指定した場所、またはプロジェクトがすでにテスト設計ドキュメントを保持している場所に配置します。場所を示すものがない場合は、ファイルをリポジトリルートにばらまく代わりに、書き込む前に尋ねます。
"<step-2-path>" checkout.pict > checkout.tsv
- 標準出力はテーブルです。ヘッダー行、それに続いて1行に1つのテストケースがタブ区切りで出力されます。このファイルは PICT が書き出したままにしておきます。これはケースがエンジンから生成されたことの証拠です。
- 標準エラーには警告とエラーが含まれます。それらを受け取り、読んでください。
- オプションはダッシュで記述します:
-o:3、-d:";"。PICT のドキュメントには/o:3と表示されますが、これは同じ意味ですが、Windows のシェル(Git Bash)では/で始まる引数をファイルパスに書き換えてしまう可能性があります。 - 要求されない限り
-rを渡さないでください。-rがない場合、同じモデルは常に同じテーブルを生成するため、レビューと差分が意味を持ちます。-rを指定すると、PICT は使用したシードを標準エラーに出力します。-r:<seed>で実行を再現できるように、そのシードを記録します。
次数。 デフォルトはペア(-o:2)です。既知の3者間相互作用や安全クリティカルな領域など、明確な理由がある場合にのみ -o:3 に上げ、その場合に行数がどのように増加するかをユーザーに伝えます。一部のパラメータのみを強化するには、すべてのパラメータの次数を上げる代わりにサブモデルを使用します。
5. 結果を確認する
PICT は、与えられたモデルのカバレッジを保証します。モデルが意図したことを正しく表現しているかどうかは判断できず、エラーを生成しない重要な失敗もあります。毎回の実行で以下を確認します:
- 終了コード。 0以外は使用可能なテーブルがないことを意味します: 3は不正なオプション、4は不正なモデルまたは読み取り不能なファイル、5は不正な制約です。原因を修正して再実行します。
- 標準エラー。 すべての行を読みます。2つの警告は終了コードを0のままにして、それでもテーブルが間違っていることを意味します:
Constraints Warning: Restrictive constraints. Output will not contain following values:1つ以上の値がどの行にも現れず、それらを含むすべての組み合わせが暗黙のうちにテストされないことを意味します。Constraints Warning: Constraint ... contains unknown parameter. Skipping...その制約内のパラメータ名がスペルミスしています。PICT はルール全体を破棄し、その制約なしでテーブルを生成しました。名前を修正して再実行します。
- 宣言されたすべての値が
.tsvの少なくとも1行に出現すること。 欠けている値がある場合、制約によって到達不能になっています。制約が間違っているか(修正する)、ルールが実際に矛盾しているかのどちらかです(どのルールが衝突し、どの値が失われているかをユーザーに伝える)。値が欠けている状態でテーブルを完全なものとして提示してはいけません。 - サイズ。 行数を数え、各パラメータの値の数の積である全数組合せ数と比較します。(
-sはテストケースの代わりに統計情報を出力します。その「Combinations」の数値はカバーすべきペアの数であり、全数組合せ数ではありません。) - ネガティブ行。 各行は最大で1つの
~で始まる値を持ちます。
修正に関する2つのルール:
- 自分のミスは修正しますが、最大3回の再実行まで。 構文ミス、型の不一致、タイポは自分で修正します。3回目の試行でも失敗した場合は、ループせずにユーザーにモデルと PICT のメッセージを表示して停止します。
- エラーを消すためにルールを静かに変更しないこと。 制約はビジネスルールを表します。ルールが競合する場合、その競合は要件に関する発見であり、しばしば価値のあるものです。それを報告し、ユーザーに判断を委ねます。自分で制約を削除したり緩めたりしてはいけません。
6. テストケースを提示する
会話内でテーブルを表示します。.tsv から構築し、前に2つの列を追加します:
| ID | Type | Destination | Shipping | Payment | Coupon | Cart total |
|----|----------|-------------|----------|---------|----------|------------|
| 1 | positive | Domestic | Pickup | Card | None | 49 |
| 2 | negative | EU | Standard | PayPal | ~Expired | 500 |
IDは、PICT の順序で行に番号を付けます。Typeは、行に~値が含まれる場合はnegative、それ以外の場合はpositiveです。
その後に以下を続けます:
- 1行のサマリー:
5 parameters, pairwise (order 2): 21 test cases instead of 432 exhaustive. .pictファイルと.tsvファイルのパス、および使用した正確なコマンド。- モデリング中に行った仮定、およびステップ5からの警告や到達不能な値。
期待される結果。 PICT は入力を生成しますが、結果は生成しません。ソースマテリアルが結果を明示している場合にのみ Expected 列を追加し、その情報の出典を明記します(「要件4.2による」など)。ソースが明記していない場合は not specified と書き、もっともらしい結果をでっち上げてはいけません。推測された期待結果はテーブル内で権威があるように見え、誤ったテストになってしまいます。ネガティブ行の場合、期待される結果は通常、無効な値の拒否です。ソースが定義している場合にのみ、特定のエラーを記載します。Expected は .tsv から除外し、エンジンの出力とあなたの推論が分離可能な状態を保ちます。
その他のフォーマット(CSV、JSON、Gherkin、テスト管理ツールへのインポート形式): 要求された場合に .tsv から変換します。要求されていないのに生成してはいけません。
PICT なしの場合。 PICT が利用できず、ユーザーがインストールを選択しなかった場合は、以下を提供します:
.pictモデルファイル。ただし、PICT がパースしていないため検証されていないことを明記します。- PICT が利用可能になったときに実行する正確なコマンド。
- パラメータと制約のサマリー、および全数組合せ数。
- テストケースが生成されなかったこととその理由を明確に述べた文。
「プレビュー」や「説明用」として手作業のテーブルを含めてはいけません。カバレッジ保証のない部分的なテーブルは、使用されてしまうため、ないよりも悪いです。
リファレンスファイル
| 読むファイル | タイミング |
|---|---|
references/modeling-guide.md | 要件、仕様、API、UI、コードからモデルを導出する場合 |
references/constraints.md | 非自明な制約、または PICT からの制約エラーがある場合 |
references/advanced.md | サブモデル、シーディング、ネガティブテストでのパラメータ除外、エイリアス、重み、再利用、区切り文字 |
references/installing-pict.md | find-pict が status=missing を報告した場合 |