CommunityCodierung & Entwicklunggithub.com

pict-pairwise-testing

Entwerfen Sie paarweise (All-Pairs) und n-fache kombinatorische Testfälle mit Microsoft PICT. Verwandeln Sie Anforderungen, Spezifikationen, APIs, Formulare, Feature-Flag-Sets oder Konfigurationsmatrizen in ein PICT-Modell mit Parametern, Werten, Einschränkungen und negativen Werten, führen Sie die echte PICT-Engine aus und erhalten Sie eine kompakte, geprüfte Testfalltabelle.

Was ist pict-pairwise-testing?

Diese Fähigkeit (Skill) dient dem Entwurf kombinatorischer Testfälle mittels des Microsoft PICT (Pairwise Independent Combinatorial Testing) Tools. Der Skill wandelt eine Beschreibung von Parametern, deren möglichen Werten sowie Geschäftsregeln (Constraints) in ein PICT-Modell um, führt die echte PICT-Engine aus und präsentiert eine kompakte Testfalltabelle. Der Fokus liegt auf dem sogenannten Pairwise-Testen (All-Pairs-Testen) und allgemeineren n-fachen Kombinationen. Dies ist besonders nützlich, wenn es zu viele Kombinationen von Parametern gibt, um sie alle manuell zu testen, z. B. bei Browser-/OS-/Geräte-Kombinationen, Konfigurationsmatrizen oder Feature-Flag-Sets. Der Skill ist für Entwickler und Tester konzipiert, die mit Claude Code, Cursor, Codex oder ähnlichen KI-Agenten arbeiten. Er unterstützt Linux, macOS und Windows (via WSL, Git Bash oder PowerShell). Die Kernlogik des Skills ist, dass der Benutzer das Modell (Parameter, Werte, Constraints) erstellt und PICT die Kombinationen berechnet. Eine wichtige Regel ist, dass die Testfalltabelle niemals manuell erstellt wird, sondern immer aus einem echten PICT-Lauf stammt, um die Korrektheit und Abdeckung zu garantieren. Der Skill erkennt, ob PICT installiert ist, und führt die entsprechenden Skripte aus. Wenn PICT nicht verfügbar ist, wird das Modell bereitgestellt und der Benutzer über die fehlende Ausführung informiert.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/radekBednarik/skills/tree/HEAD/skills/pict-pairwise-testing

Installed? Explore more Codierung & Entwicklung skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Pairwise-Testdesign mit PICT

PICT ist Microsofts kombinatorischer Testgenerator. Gib ihm ein Modell (Parameter, ihre Werte und Regeln, welche Werte nicht zusammenpassen) und er gibt eine kleine Menge Testfälle zurück, in denen jedes Wertepaar mindestens einmal vorkommt. Die meisten Fehler werden durch einen einzelnen Wert oder durch das Zusammenspiel zweier Werte ausgelöst, daher findet dies die meisten Fehler, die ein exhaustives Testen finden würde, zu einem Bruchteil des Aufwands.

Deine Arbeit teilt sich in zwei Teile, und diese Aufteilung ist wichtig:

  • Das Modell ist deine Arbeit. Das Auswählen der Parameter, das Wählen repräsentativer Werte und das Codieren der realen Geschäftsregeln als Constraints ist der Ort, an dem das Denken stattfindet und die Qualität der Tests entschieden wird.
  • Die Kombinationen sind PICTs Arbeit. Das Abdecken jedes Paares unter Constraints mit wenigen Zeilen ist ein schwieriges Suchproblem. Menschen und Sprachmodelle sind darin schlecht: Handgebaute Tabellen übersehen Paare und verletzen Constraints, während sie vollkommen vernünftig aussehen. Daher stammt jede von dir gelieferte Testfalltabelle aus einem echten PICT-Lauf. Wenn PICT nicht ausgeführt werden kann, lieferst du das Modell und sagst dies. Du schreibst die Zeilen nicht selbst, nicht einmal für ein kleines Modell.

Diese eine Regel macht die Ausgabe vertrauenswürdig, und das ist der Grund, warum der Benutzer diesen Skill verwendet, anstatt nach "ein paar Testkombinationen" zu fragen.

Arbeitsablauf

  1. Prüfen, ob die Technik passt
  2. PICT lokalisieren
  3. Das Modell erstellen
  4. PICT ausführen
  5. Das Ergebnis prüfen
  6. Die Testfälle präsentieren

1. Prüfen, ob die Technik passt

Pairwise zahlt sich aus, wenn es drei oder mehr Parameter gibt, die frei kombiniert werden können und deren Interaktionen von Bedeutung sein könnten. Sag dies und tritt zur Seite, wenn es nicht passt, anstatt ein Modell zu erzwingen:

  • Zwei Parameter: Alle Paare sind einfach jede Kombination. Liste sie einfach auf, PICT fügt nichts hinzu.
  • Eine Funktion mit wenigen Eingaben, Sequenzen von Schritten, Zustandsmaschinen, Timing, Last: Andere Techniken passen (Grenzwerte, Zustandsübergangstest usw.). Erwähne, welche, und biete an, ohne diesen Skill fortzufahren.

Der Umfang hier ist Testdesign: eine Tabelle von Eingabekombinationen. Das Umwandeln von Zeilen in ausführbaren Testcode ist eine separate Aufgabe; führe sie nur durch, wenn darum gebeten wird, nachdem die Tabelle existiert.

2. PICT lokalisieren

Führe das gebündelte Erkennungsskript aus. Es ist schreibgeschützt und arbeitet offline.

sh <skill-dir>/scripts/find-pict.sh                                             # Linux, macOS, WSL, Git Bash
powershell -NoProfile -ExecutionPolicy Bypass -File <skill-dir>\scripts\find-pict.ps1   # Windows

Wenn der Benutzer dir mitgeteilt hat, wo sich die Binärdatei befindet, übergib sie: PICT_BIN=/pfad/zu/pict sh .../find-pict.sh.

Es gibt key=value-Zeilen aus:

status=found
path=/usr/local/bin/pict
source=PATH
flags=o d a n e r c s
  • path ist die auszuführende Datei. Verwende von nun an diesen genauen Pfad.
  • flags listet die Optionsbuchstaben auf, die diese Binärdatei unterstützt. Die veröffentlichte Version (3.7.4, die sowohl Homebrew als auch der offizielle Windows-Download bereitstellen) unterstützt genau o d a n e r c s. Neuere Quellcode-Builds fügen weitere hinzu, wie b (best of N seeds) und t (threads). Verwende nur eine Option, deren Buchstabe in flags enthalten ist; eine unbekannte Option führt dazu, dass PICT mit einem Fehler beendet wird. Wenn der Benutzer etwas verlangt, das der Binärdatei fehlt, teile ihm dies mit und biete an, was funktioniert.

Wenn du das Skript nicht ausführen kannst, führe die gleichen Prüfungen manuell durch: die Umgebungsvariable PICT_BIN, dann pict im PATH, dann das Cache-Verzeichnis (~/.cache/pict-skill/ oder %LOCALAPPDATA%\pict-skill\). Führe den Kandidaten ohne Argumente aus und bestätige, dass er "Pairwise Independent Combinatorial Testing" gefolgt von seiner Optionsliste ausgibt.

Wenn status=missing: Lese references/installing-pict.md und befolge es. Die Kurzfassung: Installiere, lade oder baue niemals etwas ohne die ausdrückliche Zustimmung des Benutzers, da das Herunterladen und Kompilieren von Software seine Entscheidung ist, kein Nebeneffekt der Testfallanfrage. Biete die Optionen an, lass ihn wählen. Wenn er ablehnt oder die Installation fehlschlägt, fahre mit Schritt 3 fort und verwende dann die Endung "Kein PICT" in Schritt 6.

3. Das Modell erstellen

Ein Modell ist eine einfache Textdatei. Zuerst Parameter, dann optionale Sub-Modelle, dann Constraints, in dieser Reihenfolge.

# Checkout - Versand und Zahlung
Destination: Domestic, EU, International
Shipping:    Standard, Express, Pickup
Payment:     Card, PayPal, Invoice
Coupon:      None, Percent, FreeShipping, ~Expired
Cart total:  1, 49, 50, 500

IF [Shipping] = "Pickup"  THEN [Destination] = "Domestic";
IF [Payment]  = "Invoice" THEN [Cart total] >= 50;

Grundlagen:

  • Name: Wert, Wert, ... ein Parameter pro Zeile. # beginnt einen Kommentar.
  • Ein Wert darf das Trennzeichen nicht enthalten. Anführungszeichen helfen nicht: "a, b" wird als zwei Werte gelesen. Formuliere den Wert um oder ändere das Trennzeichen mit -d.
  • Ein Parameter ist nur dann numerisch, wenn jeder seiner Werte eine Zahl ist; andernfalls sind alle seine Werte Zeichenketten. Numerische Parameter vergleichen mit bloßen Zahlen ([Cart total] >= 50), Zeichenkettenparameter mit in Anführungszeichen gesetzten Zeichenketten ([Payment] = "Invoice"). Die Vermischung der beiden ist der häufigste Modellfehler.
  • ~ markiert einen ungültigen Wert für Negativtests. PICT setzt maximal einen ungültigen Wert pro Zeile, sodass eine schlechte Eingabe niemals eine andere verbirgt. Schreibe in Constraints den Wert ohne das ~.
  • Jeder Constraint endet mit ;. Parameternamen stehen in [eckigen Klammern]. Vergleiche ignorieren die Groß-/Kleinschreibung, es sei denn, du übergibst -c.
  • Constraints entfernen Kombinationen, die nicht vorkommen können. Sie sind nicht für Kombinationen gedacht, die vom System zurückgewiesen werden sollen: Eine zurückgewiesene Kombination ist ein Test, den du behalten möchtest.

Vorgegebene oder abgeleitete Parameter?

  • Wenn der Benutzer dir die Parameter und Werte gegeben hat, verwende sie wie gegeben und gehe direkt zu Schritt 4. Befrage ihn nicht erneut zu einem Modell, das er bereits geschrieben hat.
  • Wenn du das Modell aus einer Anforderung, Spezifikation, Code, API oder einem Bildschirm ableitest, lies zuerst references/modeling-guide.md. Es behandelt, wie man Parameter findet, Werte mit Äquivalenzklassen und Grenzwerten auswählt und reale Constraints von Annahmen trennt. Zeige dann das Modell vor der Generierung: eine kurze Liste der Parameter mit ihren Werten, die Constraints mit der Regel, die jeder codiert, und alles, was du angenommen hast, was die Quelle nicht angegeben hat. Bitte den Benutzer um Bestätigung oder Korrektur. Ein falsches Modell erzeugt eine sauber aussehende Tabelle mit einem Loch, und PICT kann es nicht bemerken, daher ist dies der günstigste Ort, um es zu finden. Wenn du nicht fragen kannst (nicht-interaktiver Lauf), fahre fort und liste die Annahmen deutlich im Ergebnis auf.

Lies references/constraints.md, wenn ein Constraint mehr als ein einfaches IF ... THEN ... ist oder wenn PICT einen Constraint-Fehler meldet. Lies references/advanced.md, wenn du eine höhere Abdeckung für eine Teilmenge von Parametern (Sub-Modelle) benötigst, bestehende Testfälle stabil halten musst (Seeding), irrelevante Parameter von Negativtests ausschließen möchtest oder Aliase, Gewichtungen oder Parameterwiederverwendung benötigst.

4. PICT ausführen

Speichere das Modell als <name>.pict und schreibe PICTs Ausgabe daneben als <name>.tsv. Lege sie dort ab, wo der Benutzer es wünscht oder wo das Projekt bereits Testdesign-Dokumente aufbewahrt. Wenn nichts auf einen Ort hindeutet, frage vor dem Schreiben, anstatt Dateien im Repository-Stamm zu verstreuen.

"<pfad-aus-schritt-2>" checkout.pict > checkout.tsv
  • Die Standardausgabe ist die Tabelle: eine Kopfzeile, dann ein Testfall pro Zeile, tabulatorgetrennt. Lasse diese Datei genau so, wie PICT sie geschrieben hat; sie ist der Beweis, dass die Fälle von der Engine stammen.
  • Der Standardfehler (stderr) enthält Warnungen und Fehler. Lasse ihn dich erreichen und lies ihn.
  • Schreibe Optionen mit einem Bindestrich: -o:3, -d:";". PICTs eigene Dokumentation zeigt /o:3, was dasselbe ist, aber Shells unter Windows (Git Bash) schreiben Argumente, die mit / beginnen, in Dateipfade um.
  • Übergib -r nur, wenn darum gebeten wird. Ohne -r liefert dasselbe Modell immer dieselbe Tabelle, was Reviews und Diffs sinnvoll hält. Mit -r gibt PICT den verwendeten Seed auf dem Standardfehler aus; notiere ihn, damit der Lauf mit -r:<seed> wiederholt werden kann.

Ordnung. Der Standard ist Paare (-o:2). Erhöhe sie nur aus einem angegebenen Grund auf -o:3, z. B. für eine bekannte Drei-Wege-Interaktion oder einen sicherheitskritischen Bereich, und teile dem Benutzer mit, was es in Zeilen kostet. Um nur einige Parameter zu verstärken, verwende ein Sub-Modell, anstatt die Ordnung für alles zu erhöhen.

5. Das Ergebnis prüfen

PICT garantiert die Abdeckung des ihm gegebenen Modells. Es kann nicht feststellen, ob das Modell das Gemeinte aussagt, und ein wichtiger Fehler produziert nicht einmal einen Fehler. Gehe bei jedem Lauf wie folgt vor:

  1. Exit-Code. Ein Wert ungleich null bedeutet keine brauchbare Tabelle: 3 falsche Option, 4 falsches Modell oder nicht lesbare Datei, 5 falsche Constraints. Behebe die Ursache und führe erneut aus.
  2. Standardfehler. Lies jede Zeile. Zwei Warnungen lassen den Exit-Code bei 0 und bedeuten dennoch, dass die Tabelle falsch ist:
    • Constraints Warning: Restrictive constraints. Output will not contain following values: Ein oder mehrere Werte erscheinen in keiner Zeile, sodass alles, was sie betrifft, stillschweigend ungetestet bleibt.
    • Constraints Warning: Constraint ... contains unknown parameter. Skipping... Ein Parametername in diesem Constraint ist falsch geschrieben. PICT hat die gesamte Regel verworfen und die Tabelle ohne sie generiert. Korrigiere den Namen und führe erneut aus.
  3. Jeder deklarierte Wert erscheint in mindestens einer Zeile der .tsv. Wenn einer fehlt, haben die Constraints ihn unerreichbar gemacht. Entweder ist ein Constraint falsch (korrigiere ihn), oder die Regeln widersprechen sich tatsächlich (teile dem Benutzer mit, welche Regeln kollidieren und welcher Wert verloren ist). Präsentiere die Tabelle nicht als vollständig, während ein Wert fehlt.
  4. Größe. Zähle die Zeilen und vergleiche sie mit der exhaustiven Anzahl, die das Produkt der Anzahlen der Werte jedes Parameters ist. (-s gibt Statistiken anstelle von Testfällen aus; seine Zahl "Combinations" ist die Anzahl der abzudeckenden Paare, nicht die exhaustive Anzahl.)
  5. Negative Zeilen. Jede Zeile hat maximal einen Wert, der mit ~ beginnt.

Zwei Regeln für Reparaturen:

  • Behebe deine eigenen Fehler, maximal drei Wiederholungen. Syntaxfehler, Typkonflikte und Tippfehler sind deine zu beheben. Wenn der dritte Versuch immer noch fehlschlägt, stoppe und zeige dem Benutzer das Modell und PICTs Nachricht, anstatt eine Schleife zu drehen.
  • Ändere stillschweigend keine Regel, um einen Fehler verschwinden zu lassen. Ein Constraint steht für eine Geschäftsregel. Wenn die Regeln kollidieren, ist diese Kollision ein Befund zu den Anforderungen, oft ein wertvoller. Berichte ihn und lass den Benutzer entscheiden; lösche oder lockere den Constraint nicht eigenmächtig.

6. Die Testfälle präsentieren

Zeige die Tabelle im Gespräch an, erstellt aus der .tsv mit zwei Spalten, die vorne hinzugefügt wurden:

| ID | Typ      | Destination | Shipping | Payment | Coupon   | Cart total |
|----|----------|-------------|----------|---------|----------|------------|
| 1  | positive | Domestic    | Pickup   | Card    | None     | 49         |
| 2  | negative | EU          | Standard | PayPal  | ~Expired | 500        |
  • ID nummeriert die Zeilen in PICTs Reihenfolge.
  • Typ ist negative, wenn die Zeile einen ~-Wert enthält, ansonsten positive.

Füge hinzu:

  • Eine einzeilige Zusammenfassung: 5 Parameter, pairwise (Ordnung 2): 21 Testfälle statt 432 exhaustiv.
  • Die Pfade der .pict- und .tsv-Dateien und den genauen verwendeten Befehl.
  • Annahmen, die während der Modellierung getroffen wurden, sowie alle Warnungen oder unerreichbaren Werte aus Schritt 5.

Erwartete Ergebnisse. PICT produziert Eingaben, keine Ergebnisse. Füge nur dann eine Spalte Erwartet hinzu, wenn das Quellmaterial das Ergebnis angibt, und sag, woher es stammt ("gemäß Anforderung 4.2"). Wenn die Quelle schweigt, schreibe nicht spezifiziert und erfinde kein plausibles Ergebnis: Ein geratenes erwartetes Ergebnis sieht in einer Tabelle autoritativ aus und wird zu einem falschen Test. Für negative Zeilen ist das erwartete Ergebnis normalerweise die Zurückweisung des ungültigen Werts; gib den spezifischen Fehler nur an, wenn die Quelle ihn definiert. Behalte Erwartet aus der .tsv heraus, damit die Engine-Ausgabe und deine Argumentation trennbar bleiben.

Andere Formate (CSV, JSON, Gherkin, ein Testmanagement-Import): Konvertiere von der .tsv, wenn darum gebeten wird. Produziere sie nicht unaufgefordert.

Kein PICT. Wenn PICT nicht verfügbar ist und der Benutzer sich gegen eine Installation entschieden hat, liefere:

  • die .pict-Modelldatei mit dem Hinweis, dass sie nicht validiert wurde, da PICT sie nicht geparst hat,
  • den genauen Befehl zum Ausführen, sobald PICT verfügbar ist,
  • die Parameter- und Constraint-Zusammenfassung sowie die exhaustive Anzahl,
  • eine klare Aussage, dass keine Testfälle generiert wurden und warum.

Füge keine handgemachte Tabelle "als Vorschau" oder "zur Veranschaulichung" bei. Eine partielle Tabelle ohne die Abdeckungsgarantie ist schlimmer als keine, da sie verwendet wird.

Referenzdateien

LiesWenn
references/modeling-guide.mdAbleiten eines Modells aus einer Anforderung, Spezifikation, API, UI oder Code
references/constraints.mdNicht-triviale Constraints oder ein Constraint-Fehler von PICT
references/advanced.mdSub-Modelle, Seeding, Ausschließen von Parametern in Negativtests, Aliase, Gewichtungen, Wiederverwendung, Trennzeichen
references/installing-pict.mdfind-pict meldet status=missing

Verwandte Skills