Conception de tests par paires avec PICT
PICT est le générateur de tests combinatoires de Microsoft. Fournissez-lui un modèle (paramètres, leurs valeurs, et les règles sur les valeurs qui ne peuvent pas aller ensemble) et il renvoie un petit ensemble de cas de test dans lequel chaque paire de valeurs apparaît au moins une fois. La plupart des défauts sont déclenchés par une seule valeur ou par l'interaction de deux, ce qui permet de trouver la majorité de ce qu'un test exhaustif trouverait, à une fraction de la taille.
Votre travail se divise en deux parties, et cette division est importante :
- Le modèle est votre travail. Choisir les paramètres, sélectionner des valeurs représentatives et encoder les véritables règles métier sous forme de contraintes est là où la réflexion a lieu et où la qualité des tests est décidée.
- Les combinaisons sont le travail de PICT. Couvrir chaque paire sous contraintes avec peu de lignes est un problème de recherche difficile. Les humains et les modèles de langage sont mauvais dans ce domaine : les tableaux fabriqués à la main oublient des paires et violent des contraintes tout en ayant l'air parfaitement raisonnables. Par conséquent, chaque tableau de cas de test que vous fournissez provient d'une exécution réelle de PICT. Si PICT ne peut pas être exécuté, vous fournissez le modèle et le précisez. Vous n'écrivez pas les lignes vous-même, même pour un petit modèle.
Cette règle unique est ce qui rend la sortie digne de confiance, et c'est pourquoi l'utilisateur utilise cette compétence plutôt que de demander « quelques combinaisons de test ».
Flux de travail
- Vérifier que la technique est adaptée
- Localiser PICT
- Construire le modèle
- Exécuter PICT
- Vérifier le résultat
- Présenter les cas de test
1. Vérifier que la technique est adaptée
Le test par paires est rentable lorsqu'il y a trois paramètres ou plus qui peuvent être combinés librement et que leurs interactions pourraient être importantes. Indiquez-le et retirez-vous lorsque ce n'est pas adapté, au lieu de forcer un modèle :
- Deux paramètres : toutes les paires sont simplement toutes les combinaisons. Listez-les, PICT n'apporte rien.
- Une seule fonction avec quelques entrées, des séquences d'étapes, des machines à états, du timing, de la charge : d'autres techniques sont plus adaptées (valeurs limites, tests de transition d'état, etc.). Mentionnez laquelle et proposez de continuer sans cette compétence.
Le périmètre ici est la conception de test : un tableau de combinaisons d'entrées. Convertir les lignes en code de test exécutable est une tâche distincte ; ne le faites que si demandé, une fois le tableau existant.
2. Localiser PICT
Exécutez le script de détection fourni. Il est en lecture seule et hors ligne.
sh <répertoire-compétence>/scripts/find-pict.sh # Linux, macOS, WSL, Git Bash
powershell -NoProfile -ExecutionPolicy Bypass -File <répertoire-compétence>\scripts\find-pict.ps1 # Windows
Si l'utilisateur vous a indiqué où se trouve le binaire, transmettez-le : PICT_BIN=/chemin/vers/pict sh .../find-pict.sh.
Il affiche des lignes clé=valeur :
status=found
path=/usr/local/bin/pict
source=PATH
flags=o d a n e r c s
pathest l'exécutable à lancer. Utilisez ce chemin exact à partir de maintenant.flagsliste les lettres d'options que ce binaire supporte. La version publiée (3.7.4, qui est celle fournie par Homebrew et le téléchargement officiel Windows) supporte exactemento d a n e r c s. Les builds sources plus récents en ajoutent d'autres, commeb(meilleur de N graines) ett(threads). N'utilisez qu'une option dont la lettre est dansflags; une option inconnue fait que PICT se termine avec une erreur. Si l'utilisateur demande quelque chose que le binaire ne possède pas, dites-le et proposez ce qui fonctionne.
Si vous ne pouvez pas exécuter le script, effectuez les mêmes vérifications manuellement : la
variable d'environnement PICT_BIN, puis pict dans le PATH, puis le répertoire de cache
(~/.cache/pict-skill/ ou %LOCALAPPDATA%\pict-skill\). Exécutez le candidat sans arguments
et confirmez qu'il affiche « Pairwise Independent Combinatorial Testing » suivi de sa liste
d'options.
Lorsque status=missing : lisez references/installing-pict.md et suivez-le. En résumé :
ne jamais installer, télécharger ou construire quoi que ce soit sans l'accord explicite de
l'utilisateur, car récupérer et compiler un logiciel est leur décision, pas un effet secondaire
d'une demande de cas de test. Proposez les choix, laissez-les choisir. S'ils refusent, ou si
l'installation échoue, continuez avec l'étape 3 et utilisez ensuite la fin « Pas de PICT » à l'étape 6.
3. Construire le modèle
Un modèle est un fichier texte brut. D'abord les paramètres, puis les sous-modèles optionnels, puis les contraintes, dans cet ordre.
# Panier - expédition et paiement
Destination: National, UE, International
Expédition: Standard, Express, Retrait
Paiement: Carte, PayPal, Facture
Coupon: Aucun, Pourcentage, LivraisonGratuite, ~Expiré
Total panier: 1, 49, 50, 500
IF [Expédition] = "Retrait" THEN [Destination] = "National";
IF [Paiement] = "Facture" THEN [Total panier] >= 50;
Essentiels :
Nom: valeur, valeur, ...un paramètre par ligne.#commence un commentaire.- Une valeur ne peut pas contenir le séparateur. Les guillemets n'aident pas :
"a, b"est interprété comme deux valeurs. Reformulez la valeur ou changez le séparateur avec-d. - Un paramètre est numérique uniquement si chacune de ses valeurs est un nombre ;
sinon toutes ses valeurs sont des chaînes. Les paramètres numériques se comparent à des
nombres nus (
[Total panier] >= 50), les paramètres chaîne à des chaînes entre guillemets ([Paiement] = "Facture"). Mélanger les deux est l'erreur de modèle la plus courante. ~marque une valeur invalide pour les tests négatifs. PICT met au plus une valeur invalide par ligne, de sorte qu'une mauvaise entrée n'en cache jamais une autre. Dans les contraintes, écrivez la valeur sans le~.- Chaque contrainte se termine par
;. Les noms de paramètres sont entre[crochets]. Les comparaisons sont insensibles à la casse sauf si vous passez-c. - Les contraintes suppriment les combinaisons qui ne peuvent pas se produire. Elles ne sont pas destinées aux combinaisons qui devraient être rejetées par le système : une combinaison rejetée est un test que vous souhaitez conserver.
Paramètres donnés ou dérivés ?
- Si l'utilisateur vous a remis les paramètres et les valeurs, utilisez-les tels quels et allez directement à l'étape 4. Ne les interrogez pas à nouveau sur un modèle qu'ils ont déjà écrit.
- Si vous dérivez le modèle d'un besoin, d'une spécification, d'un code, d'une API ou d'un écran,
lisez d'abord
references/modeling-guide.md. Il couvre comment trouver les paramètres, choisir les valeurs avec des classes d'équivalence et des limites, et séparer les contraintes réelles des hypothèses. Ensuite, montrez le modèle avant de générer : une courte liste de paramètres avec leurs valeurs, les contraintes avec la règle que chacune encode, et tout ce que vous avez supposé que la source n'a pas énoncé. Demandez à l'utilisateur de confirmer ou de corriger. Un modèle erroné produit un tableau propre avec un trou dedans et PICT ne peut pas le remarquer, c'est donc l'étape la moins coûteuse pour le détecter. Si vous ne pouvez pas demander (exécution non interactive), continuez et listez les hypothèses bien en évidence dans le résultat.
Lisez references/constraints.md lorsqu'une contrainte est plus qu'un simple IF ... THEN ...,
ou lorsque PICT signale une erreur de contrainte. Lisez references/advanced.md lorsque vous avez
besoin d'une couverture plus élevée pour un sous-ensemble de paramètres (sous-modèles), devez
conserver des cas de test existants stables (seed), souhaitez exclure des paramètres non pertinents
des tests négatifs, ou avez besoin d'alias, de poids ou de réutilisation de paramètres.
4. Exécuter PICT
Enregistrez le modèle sous <nom>.pict et écrivez la sortie de PICT à côté sous <nom>.tsv.
Placez-les là où l'utilisateur l'a demandé, ou là où le projet conserve déjà les documents de
conception de test. Si rien n'indique un emplacement, demandez avant d'écrire au lieu de disperser
des fichiers dans la racine du dépôt.
"<chemin-depuis-étape-2>" panier.pict > panier.tsv
- La sortie standard est le tableau : une ligne d'en-tête, puis un cas de test par ligne, séparé par des tabulations. Laissez ce fichier exactement comme PICT l'a écrit ; c'est la preuve que les cas proviennent du moteur.
- La sortie d'erreur standard contient les avertissements et les erreurs. Laissez-la vous parvenir et lisez-la.
- Écrivez les options avec un tiret :
-o:3,-d:";". La documentation de PICT montre/o:3, qui est la même chose, mais les shells sous Windows (Git Bash) réécrivent les arguments commençant par/en chemins de fichiers. - Ne passez pas
-rsauf si demandé. Sans cela, le même modèle donne toujours le même tableau, ce qui rend les revues et les différences significatives. Avec-r, PICT affiche la graine utilisée sur la sortie d'erreur standard ; enregistrez-la pour que l'exécution puisse être répétée avec-r:<graine>.
Ordre. La valeur par défaut est les paires (-o:2). Augmentez-la à -o:3 uniquement pour
une raison énoncée, comme une interaction ternaire connue ou une zone critique pour la sécurité,
et informez l'utilisateur du coût en lignes. Pour renforcer seulement quelques paramètres,
utilisez un sous-modèle au lieu d'augmenter l'ordre pour tout.
5. Vérifier le résultat
PICT garantit la couverture du modèle qui lui a été fourni. Il ne peut pas dire si le modèle dit ce qu'il était censé dire, et un échec important ne produit même pas d'erreur. Parcourez ceci à chaque exécution :
- Code de sortie. Non nul signifie pas de tableau utilisable : 3 mauvaise option, 4 mauvais modèle ou fichier illisible, 5 mauvaises contraintes. Corrigez la cause et réexécutez.
- Sortie d'erreur standard. Lisez chaque ligne. Deux avertissements laissent le code de
sortie à 0 et signifient toujours que le tableau est erroné :
Constraints Warning: Restrictive constraints. Output will not contain following values:Une ou plusieurs valeurs n'apparaissent dans aucune ligne, donc tout ce qui les implique est silencieusement non testé.Constraints Warning: Constraint ... contains unknown parameter. Skipping...Un nom de paramètre dans cette contrainte est mal orthographié. PICT a supprimé toute la règle et a généré le tableau sans elle. Corrigez le nom et réexécutez.
- Chaque valeur déclarée apparaît dans au moins une ligne du
.tsv. Si l'une est manquante, les contraintes l'ont rendue inaccessible. Soit une contrainte est erronée (corrigez-la), soit les règles se contredisent vraiment (dites à l'utilisateur quelles règles entrent en collision et quelle valeur est perdue). Ne présentez pas le tableau comme complet alors qu'une valeur est manquante. - Taille. Comptez les lignes et comparez avec le nombre exhaustif, qui est le produit du
nombre de valeurs de chaque paramètre. (
-saffiche les statistiques au lieu des cas de test ; son chiffre « Combinations » est le nombre de paires à couvrir, pas le nombre exhaustif.) - Lignes négatives. Chaque ligne a au plus une valeur commençant par
~.
Deux règles pour les réparations :
- Corrigez vos propres erreurs, au maximum trois réexécutions. Fautes de syntaxe, incompatibilités de types et coquilles sont à corriger par vous. Si la troisième tentative échoue encore, arrêtez-vous et montrez à l'utilisateur le modèle et le message de PICT au lieu de boucler.
- Ne modifiez pas silencieusement une règle pour faire disparaître une erreur. Une contrainte représente une règle métier. Si les règles sont en conflit, ce conflit est une découverte sur les exigences, souvent précieuse. Rapportez-le et laissez l'utilisateur décider ; ne supprimez pas et n'assouplissez pas la contrainte par vous-même.
6. Présenter les cas de test
Affichez le tableau dans la conversation, construit à partir du .tsv avec deux colonnes
ajoutées devant :
| ID | Type | Destination | Expédition | Paiement | Coupon | Total panier |
|----|----------|-------------|------------|----------|----------|--------------|
| 1 | positive | National | Retrait | Carte | Aucun | 49 |
| 2 | négative | UE | Standard | PayPal | ~Expiré | 500 |
IDnumérote les lignes dans l'ordre de PICT.Typeestnégativelorsque la ligne contient une valeur~, sinonpositive.
Complétez avec :
- Un résumé d'une ligne :
5 paramètres, par paires (ordre 2) : 21 cas de test au lieu de 432 exhaustifs. - Les chemins des fichiers
.pictet.tsvet la commande exacte utilisée. - Les hypothèses formulées lors de la modélisation, ainsi que tout avertissement ou valeur inaccessible de l'étape 5.
Résultats attendus. PICT produit des entrées, pas des résultats. Ajoutez une colonne
Résultat attendu uniquement lorsque le matériel source énonce le résultat, et dites d'où il
vient (« selon l'exigence 4.2 »). Lorsque la source est silencieuse, écrivez non spécifié et
n'inventez pas un résultat plausible : un résultat attendu deviné a l'air faisant autorité dans
un tableau et se transforme en un test erroné. Pour les lignes négatives, le résultat attendu
est normalement le rejet de la valeur invalide ; ne spécifiez l'erreur précise que si la source
la définit. Gardez Résultat attendu en dehors du .tsv afin que la sortie du moteur et votre
raisonnement restent séparables.
Autres formats (CSV, JSON, Gherkin, une importation dans un outil de gestion de tests) :
convertissez à partir du .tsv lorsque demandé. Ne les produisez pas sans y être invité.
Pas de PICT. Lorsque PICT n'est pas disponible et que l'utilisateur a choisi de ne pas l'installer, fournissez :
- le fichier modèle
.pict, avec la note qu'il n'a pas été validé car PICT ne l'a pas analysé, - la commande exacte à exécuter une fois PICT disponible,
- le résumé des paramètres et contraintes, et le nombre exhaustif,
- une déclaration claire qu'aucun cas de test n'a été généré et pourquoi.
N'incluez pas de tableau fait à la main « à titre d'aperçu » ou « pour illustration ». Un tableau partiel sans la garantie de couverture est pire qu'aucun, car il sera utilisé.
Fichiers de référence
| Lire | Quand |
|---|---|
references/modeling-guide.md | Dériver un modèle d'un besoin, d'une spécification, d'une API, d'une IHM ou d'un code |
references/constraints.md | Contraintes non triviales, ou toute erreur de contrainte de PICT |
references/advanced.md | Sous-modèles, seed, exclusion de paramètres dans les tests négatifs, alias, poids, réutilisation, séparateurs |
references/installing-pict.md | find-pict signale status=missing |