Pairwise-Testdesign mit PICT
PICT ist Microsofts kombinatorischer Testgenerator. Gib ihm ein Modell (Parameter, ihre Werte und Regeln, welche Werte nicht zusammenpassen) und er gibt eine kleine Menge Testfälle zurück, in denen jedes Wertepaar mindestens einmal vorkommt. Die meisten Fehler werden durch einen einzelnen Wert oder durch das Zusammenspiel zweier Werte ausgelöst, daher findet dies die meisten Fehler, die ein exhaustives Testen finden würde, zu einem Bruchteil des Aufwands.
Deine Arbeit teilt sich in zwei Teile, und diese Aufteilung ist wichtig:
- Das Modell ist deine Arbeit. Das Auswählen der Parameter, das Wählen repräsentativer Werte und das Codieren der realen Geschäftsregeln als Constraints ist der Ort, an dem das Denken stattfindet und die Qualität der Tests entschieden wird.
- Die Kombinationen sind PICTs Arbeit. Das Abdecken jedes Paares unter Constraints mit wenigen Zeilen ist ein schwieriges Suchproblem. Menschen und Sprachmodelle sind darin schlecht: Handgebaute Tabellen übersehen Paare und verletzen Constraints, während sie vollkommen vernünftig aussehen. Daher stammt jede von dir gelieferte Testfalltabelle aus einem echten PICT-Lauf. Wenn PICT nicht ausgeführt werden kann, lieferst du das Modell und sagst dies. Du schreibst die Zeilen nicht selbst, nicht einmal für ein kleines Modell.
Diese eine Regel macht die Ausgabe vertrauenswürdig, und das ist der Grund, warum der Benutzer diesen Skill verwendet, anstatt nach "ein paar Testkombinationen" zu fragen.
Arbeitsablauf
- Prüfen, ob die Technik passt
- PICT lokalisieren
- Das Modell erstellen
- PICT ausführen
- Das Ergebnis prüfen
- Die Testfälle präsentieren
1. Prüfen, ob die Technik passt
Pairwise zahlt sich aus, wenn es drei oder mehr Parameter gibt, die frei kombiniert werden können und deren Interaktionen von Bedeutung sein könnten. Sag dies und tritt zur Seite, wenn es nicht passt, anstatt ein Modell zu erzwingen:
- Zwei Parameter: Alle Paare sind einfach jede Kombination. Liste sie einfach auf, PICT fügt nichts hinzu.
- Eine Funktion mit wenigen Eingaben, Sequenzen von Schritten, Zustandsmaschinen, Timing, Last: Andere Techniken passen (Grenzwerte, Zustandsübergangstest usw.). Erwähne, welche, und biete an, ohne diesen Skill fortzufahren.
Der Umfang hier ist Testdesign: eine Tabelle von Eingabekombinationen. Das Umwandeln von Zeilen in ausführbaren Testcode ist eine separate Aufgabe; führe sie nur durch, wenn darum gebeten wird, nachdem die Tabelle existiert.
2. PICT lokalisieren
Führe das gebündelte Erkennungsskript aus. Es ist schreibgeschützt und arbeitet offline.
sh <skill-dir>/scripts/find-pict.sh # Linux, macOS, WSL, Git Bash
powershell -NoProfile -ExecutionPolicy Bypass -File <skill-dir>\scripts\find-pict.ps1 # Windows
Wenn der Benutzer dir mitgeteilt hat, wo sich die Binärdatei befindet, übergib
sie: PICT_BIN=/pfad/zu/pict sh .../find-pict.sh.
Es gibt key=value-Zeilen aus:
status=found
path=/usr/local/bin/pict
source=PATH
flags=o d a n e r c s
pathist die auszuführende Datei. Verwende von nun an diesen genauen Pfad.flagslistet die Optionsbuchstaben auf, die diese Binärdatei unterstützt. Die veröffentlichte Version (3.7.4, die sowohl Homebrew als auch der offizielle Windows-Download bereitstellen) unterstützt genauo d a n e r c s. Neuere Quellcode-Builds fügen weitere hinzu, wieb(best of N seeds) undt(threads). Verwende nur eine Option, deren Buchstabe inflagsenthalten ist; eine unbekannte Option führt dazu, dass PICT mit einem Fehler beendet wird. Wenn der Benutzer etwas verlangt, das der Binärdatei fehlt, teile ihm dies mit und biete an, was funktioniert.
Wenn du das Skript nicht ausführen kannst, führe die gleichen Prüfungen
manuell durch: die Umgebungsvariable PICT_BIN, dann pict im PATH, dann das
Cache-Verzeichnis (~/.cache/pict-skill/ oder %LOCALAPPDATA%\pict-skill\).
Führe den Kandidaten ohne Argumente aus und bestätige, dass er "Pairwise
Independent Combinatorial Testing" gefolgt von seiner Optionsliste ausgibt.
Wenn status=missing: Lese references/installing-pict.md und befolge es.
Die Kurzfassung: Installiere, lade oder baue niemals etwas ohne die
ausdrückliche Zustimmung des Benutzers, da das Herunterladen und Kompilieren
von Software seine Entscheidung ist, kein Nebeneffekt der Testfallanfrage.
Biete die Optionen an, lass ihn wählen. Wenn er ablehnt oder die Installation
fehlschlägt, fahre mit Schritt 3 fort und verwende dann die Endung "Kein
PICT" in Schritt 6.
3. Das Modell erstellen
Ein Modell ist eine einfache Textdatei. Zuerst Parameter, dann optionale Sub-Modelle, dann Constraints, in dieser Reihenfolge.
# Checkout - Versand und Zahlung
Destination: Domestic, EU, International
Shipping: Standard, Express, Pickup
Payment: Card, PayPal, Invoice
Coupon: None, Percent, FreeShipping, ~Expired
Cart total: 1, 49, 50, 500
IF [Shipping] = "Pickup" THEN [Destination] = "Domestic";
IF [Payment] = "Invoice" THEN [Cart total] >= 50;
Grundlagen:
Name: Wert, Wert, ...ein Parameter pro Zeile.#beginnt einen Kommentar.- Ein Wert darf das Trennzeichen nicht enthalten. Anführungszeichen helfen
nicht:
"a, b"wird als zwei Werte gelesen. Formuliere den Wert um oder ändere das Trennzeichen mit-d. - Ein Parameter ist nur dann numerisch, wenn jeder seiner Werte eine Zahl
ist; andernfalls sind alle seine Werte Zeichenketten. Numerische Parameter
vergleichen mit bloßen Zahlen (
[Cart total] >= 50), Zeichenkettenparameter mit in Anführungszeichen gesetzten Zeichenketten ([Payment] = "Invoice"). Die Vermischung der beiden ist der häufigste Modellfehler. ~markiert einen ungültigen Wert für Negativtests. PICT setzt maximal einen ungültigen Wert pro Zeile, sodass eine schlechte Eingabe niemals eine andere verbirgt. Schreibe in Constraints den Wert ohne das~.- Jeder Constraint endet mit
;. Parameternamen stehen in[eckigen Klammern]. Vergleiche ignorieren die Groß-/Kleinschreibung, es sei denn, du übergibst-c. - Constraints entfernen Kombinationen, die nicht vorkommen können. Sie sind nicht für Kombinationen gedacht, die vom System zurückgewiesen werden sollen: Eine zurückgewiesene Kombination ist ein Test, den du behalten möchtest.
Vorgegebene oder abgeleitete Parameter?
- Wenn der Benutzer dir die Parameter und Werte gegeben hat, verwende sie wie gegeben und gehe direkt zu Schritt 4. Befrage ihn nicht erneut zu einem Modell, das er bereits geschrieben hat.
- Wenn du das Modell aus einer Anforderung, Spezifikation, Code, API oder
einem Bildschirm ableitest, lies zuerst
references/modeling-guide.md. Es behandelt, wie man Parameter findet, Werte mit Äquivalenzklassen und Grenzwerten auswählt und reale Constraints von Annahmen trennt. Zeige dann das Modell vor der Generierung: eine kurze Liste der Parameter mit ihren Werten, die Constraints mit der Regel, die jeder codiert, und alles, was du angenommen hast, was die Quelle nicht angegeben hat. Bitte den Benutzer um Bestätigung oder Korrektur. Ein falsches Modell erzeugt eine sauber aussehende Tabelle mit einem Loch, und PICT kann es nicht bemerken, daher ist dies der günstigste Ort, um es zu finden. Wenn du nicht fragen kannst (nicht-interaktiver Lauf), fahre fort und liste die Annahmen deutlich im Ergebnis auf.
Lies references/constraints.md, wenn ein Constraint mehr als ein einfaches
IF ... THEN ... ist oder wenn PICT einen Constraint-Fehler meldet. Lies
references/advanced.md, wenn du eine höhere Abdeckung für eine Teilmenge von
Parametern (Sub-Modelle) benötigst, bestehende Testfälle stabil halten musst
(Seeding), irrelevante Parameter von Negativtests ausschließen möchtest oder
Aliase, Gewichtungen oder Parameterwiederverwendung benötigst.
4. PICT ausführen
Speichere das Modell als <name>.pict und schreibe PICTs Ausgabe daneben als
<name>.tsv. Lege sie dort ab, wo der Benutzer es wünscht oder wo das
Projekt bereits Testdesign-Dokumente aufbewahrt. Wenn nichts auf einen Ort
hindeutet, frage vor dem Schreiben, anstatt Dateien im Repository-Stamm zu
verstreuen.
"<pfad-aus-schritt-2>" checkout.pict > checkout.tsv
- Die Standardausgabe ist die Tabelle: eine Kopfzeile, dann ein Testfall pro Zeile, tabulatorgetrennt. Lasse diese Datei genau so, wie PICT sie geschrieben hat; sie ist der Beweis, dass die Fälle von der Engine stammen.
- Der Standardfehler (stderr) enthält Warnungen und Fehler. Lasse ihn dich erreichen und lies ihn.
- Schreibe Optionen mit einem Bindestrich:
-o:3,-d:";". PICTs eigene Dokumentation zeigt/o:3, was dasselbe ist, aber Shells unter Windows (Git Bash) schreiben Argumente, die mit/beginnen, in Dateipfade um. - Übergib
-rnur, wenn darum gebeten wird. Ohne-rliefert dasselbe Modell immer dieselbe Tabelle, was Reviews und Diffs sinnvoll hält. Mit-rgibt PICT den verwendeten Seed auf dem Standardfehler aus; notiere ihn, damit der Lauf mit-r:<seed>wiederholt werden kann.
Ordnung. Der Standard ist Paare (-o:2). Erhöhe sie nur aus einem
angegebenen Grund auf -o:3, z. B. für eine bekannte Drei-Wege-Interaktion
oder einen sicherheitskritischen Bereich, und teile dem Benutzer mit, was es
in Zeilen kostet. Um nur einige Parameter zu verstärken, verwende ein
Sub-Modell, anstatt die Ordnung für alles zu erhöhen.
5. Das Ergebnis prüfen
PICT garantiert die Abdeckung des ihm gegebenen Modells. Es kann nicht feststellen, ob das Modell das Gemeinte aussagt, und ein wichtiger Fehler produziert nicht einmal einen Fehler. Gehe bei jedem Lauf wie folgt vor:
- Exit-Code. Ein Wert ungleich null bedeutet keine brauchbare Tabelle: 3 falsche Option, 4 falsches Modell oder nicht lesbare Datei, 5 falsche Constraints. Behebe die Ursache und führe erneut aus.
- Standardfehler. Lies jede Zeile. Zwei Warnungen lassen den Exit-Code
bei 0 und bedeuten dennoch, dass die Tabelle falsch ist:
Constraints Warning: Restrictive constraints. Output will not contain following values:Ein oder mehrere Werte erscheinen in keiner Zeile, sodass alles, was sie betrifft, stillschweigend ungetestet bleibt.Constraints Warning: Constraint ... contains unknown parameter. Skipping...Ein Parametername in diesem Constraint ist falsch geschrieben. PICT hat die gesamte Regel verworfen und die Tabelle ohne sie generiert. Korrigiere den Namen und führe erneut aus.
- Jeder deklarierte Wert erscheint in mindestens einer Zeile der
.tsv. Wenn einer fehlt, haben die Constraints ihn unerreichbar gemacht. Entweder ist ein Constraint falsch (korrigiere ihn), oder die Regeln widersprechen sich tatsächlich (teile dem Benutzer mit, welche Regeln kollidieren und welcher Wert verloren ist). Präsentiere die Tabelle nicht als vollständig, während ein Wert fehlt. - Größe. Zähle die Zeilen und vergleiche sie mit der exhaustiven Anzahl,
die das Produkt der Anzahlen der Werte jedes Parameters ist. (
-sgibt Statistiken anstelle von Testfällen aus; seine Zahl "Combinations" ist die Anzahl der abzudeckenden Paare, nicht die exhaustive Anzahl.) - Negative Zeilen. Jede Zeile hat maximal einen Wert, der mit
~beginnt.
Zwei Regeln für Reparaturen:
- Behebe deine eigenen Fehler, maximal drei Wiederholungen. Syntaxfehler, Typkonflikte und Tippfehler sind deine zu beheben. Wenn der dritte Versuch immer noch fehlschlägt, stoppe und zeige dem Benutzer das Modell und PICTs Nachricht, anstatt eine Schleife zu drehen.
- Ändere stillschweigend keine Regel, um einen Fehler verschwinden zu lassen. Ein Constraint steht für eine Geschäftsregel. Wenn die Regeln kollidieren, ist diese Kollision ein Befund zu den Anforderungen, oft ein wertvoller. Berichte ihn und lass den Benutzer entscheiden; lösche oder lockere den Constraint nicht eigenmächtig.
6. Die Testfälle präsentieren
Zeige die Tabelle im Gespräch an, erstellt aus der .tsv mit zwei Spalten,
die vorne hinzugefügt wurden:
| ID | Typ | Destination | Shipping | Payment | Coupon | Cart total |
|----|----------|-------------|----------|---------|----------|------------|
| 1 | positive | Domestic | Pickup | Card | None | 49 |
| 2 | negative | EU | Standard | PayPal | ~Expired | 500 |
IDnummeriert die Zeilen in PICTs Reihenfolge.Typistnegative, wenn die Zeile einen~-Wert enthält, ansonstenpositive.
Füge hinzu:
- Eine einzeilige Zusammenfassung:
5 Parameter, pairwise (Ordnung 2): 21 Testfälle statt 432 exhaustiv. - Die Pfade der
.pict- und.tsv-Dateien und den genauen verwendeten Befehl. - Annahmen, die während der Modellierung getroffen wurden, sowie alle Warnungen oder unerreichbaren Werte aus Schritt 5.
Erwartete Ergebnisse. PICT produziert Eingaben, keine Ergebnisse. Füge
nur dann eine Spalte Erwartet hinzu, wenn das Quellmaterial das Ergebnis
angibt, und sag, woher es stammt ("gemäß Anforderung 4.2"). Wenn die Quelle
schweigt, schreibe nicht spezifiziert und erfinde kein plausibles Ergebnis:
Ein geratenes erwartetes Ergebnis sieht in einer Tabelle autoritativ aus und
wird zu einem falschen Test. Für negative Zeilen ist das erwartete Ergebnis
normalerweise die Zurückweisung des ungültigen Werts; gib den spezifischen
Fehler nur an, wenn die Quelle ihn definiert. Behalte Erwartet aus der
.tsv heraus, damit die Engine-Ausgabe und deine Argumentation trennbar
bleiben.
Andere Formate (CSV, JSON, Gherkin, ein Testmanagement-Import): Konvertiere
von der .tsv, wenn darum gebeten wird. Produziere sie nicht unaufgefordert.
Kein PICT. Wenn PICT nicht verfügbar ist und der Benutzer sich gegen eine Installation entschieden hat, liefere:
- die
.pict-Modelldatei mit dem Hinweis, dass sie nicht validiert wurde, da PICT sie nicht geparst hat, - den genauen Befehl zum Ausführen, sobald PICT verfügbar ist,
- die Parameter- und Constraint-Zusammenfassung sowie die exhaustive Anzahl,
- eine klare Aussage, dass keine Testfälle generiert wurden und warum.
Füge keine handgemachte Tabelle "als Vorschau" oder "zur Veranschaulichung" bei. Eine partielle Tabelle ohne die Abdeckungsgarantie ist schlimmer als keine, da sie verwendet wird.
Referenzdateien
| Lies | Wenn |
|---|---|
references/modeling-guide.md | Ableiten eines Modells aus einer Anforderung, Spezifikation, API, UI oder Code |
references/constraints.md | Nicht-triviale Constraints oder ein Constraint-Fehler von PICT |
references/advanced.md | Sub-Modelle, Seeding, Ausschließen von Parametern in Negativtests, Aliase, Gewichtungen, Wiederverwendung, Trennzeichen |
references/installing-pict.md | find-pict meldet status=missing |