Diseño de pruebas por pares con PICT
PICT es el generador de pruebas combinatorias de Microsoft. Dale un modelo (parámetros, sus valores y reglas sobre qué valores no pueden ir juntos) y devuelve un conjunto pequeño de casos de prueba en el que cada par de valores aparece al menos una vez. La mayoría de los defectos son activados por un solo valor o por la interacción de dos, por lo que esto encuentra la mayor parte de lo que haría una prueba exhaustiva con una fracción del tamaño.
Tu trabajo se divide en dos partes, y la división es importante:
- El modelo es tu trabajo. Elegir parámetros, seleccionar valores representativos y codificar las reglas de negocio reales como restricciones es donde está el pensamiento y donde se decide la calidad de las pruebas.
- Las combinaciones son trabajo de PICT. Cubrir cada par bajo restricciones con pocas filas es un problema de búsqueda difícil. Las personas y los modelos de lenguaje son malos en ello: las tablas hechas a mano omiten pares y rompen restricciones mientras parecen perfectamente razonables. Por lo tanto, cada tabla de casos de prueba que entregues proviene de una ejecución real de PICT. Si no se puede ejecutar PICT, entregas el modelo y lo dices. No escribes las filas tú mismo, ni siquiera para un modelo pequeño.
Esa única regla es lo que hace que la salida sea confiable, y es por lo que el usuario está usando esta habilidad en lugar de pedir "algunas combinaciones de prueba".
Flujo de trabajo
- Verificar que la técnica encaje
- Localizar PICT
- Construir el modelo
- Ejecutar PICT
- Verificar el resultado
- Presentar los casos de prueba
1. Verificar que la técnica encaje
Las pruebas por pares son útiles cuando hay tres o más parámetros que se pueden combinar libremente y sus interacciones podrían importar. Dilo y retírate cuando no encaje, en lugar de forzar un modelo:
- Dos parámetros: todos los pares son simplemente cada combinación. Solo enuméralos, PICT no añade nada.
- Una función con pocas entradas, secuencias de pasos, máquinas de estado, temporización, carga: otras técnicas encajan (valores límite, pruebas de transición de estados, etc.). Menciona cuál y ofrece continuar sin esta habilidad.
El alcance aquí es diseño de pruebas: una tabla de combinaciones de entrada. Convertir filas en código de prueba ejecutable es una tarea separada; hazlo solo si te lo piden, después de que exista la tabla.
2. Localizar PICT
Ejecuta el script de detección incluido. Es de solo lectura y sin conexión.
sh <skill-dir>/scripts/find-pict.sh # Linux, macOS, WSL, Git Bash
powershell -NoProfile -ExecutionPolicy Bypass -File <skill-dir>\scripts\find-pict.ps1 # Windows
Si el usuario te dijo dónde está el binario, pásalo: PICT_BIN=/ruta/a/pict sh .../find-pict.sh.
Imprime líneas clave=valor:
status=found
path=/usr/local/bin/pict
source=PATH
flags=o d a n e r c s
pathes el ejecutable a usar. Usa esa ruta exacta de ahora en adelante.flagslista las letras de opciones que admite este binario. La versión publicada (3.7.4, que es la que proporcionan Homebrew y la descarga oficial de Windows) admite exactamenteo d a n e r c s. Las compilaciones de fuente más recientes agregan otras, comob(mejor de N semillas) yt(hilos). Usa solo una opción cuya letra esté enflags; una opción desconocida hace que PICT termine con un error. Si el usuario pide algo que el binario no tiene, díselo y ofrece lo que sí funciona.
Si no puedes ejecutar el script, haz las mismas comprobaciones manualmente: la variable de entorno PICT_BIN, luego pict en PATH, luego el directorio de caché (~/.cache/pict-skill/ o %LOCALAPPDATA%\pict-skill\). Ejecuta el candidato sin argumentos y confirma que imprime "Pairwise Independent Combinatorial Testing" seguido de su lista de opciones.
Cuando status=missing: lee references/installing-pict.md y síguelo. La versión corta: nunca instales, descargues ni compiles nada sin la aprobación explícita del usuario, porque obtener y compilar software es su decisión, no un efecto secundario de pedir casos de prueba. Ofrece las opciones, deja que elija. Si se niega, o la instalación falla, continúa con el paso 3 y luego usa el final "Sin PICT" en el paso 6.
3. Construir el modelo
Un modelo es un archivo de texto plano. Primero los parámetros, luego submodelos opcionales, luego restricciones, en ese orden.
# Checkout - envío y pago
Destino: Nacional, UE, Internacional
Envío: Estándar, Express, Recogida en tienda
Pago: Tarjeta, PayPal, Factura
Cupón: Ninguno, Porcentaje, EnvíoGratis, ~Caducado
Total carrito: 1, 49, 50, 500
IF [Envío] = "Recogida en tienda" THEN [Destino] = "Nacional";
IF [Pago] = "Factura" THEN [Total carrito] >= 50;
Esenciales:
Nombre: valor, valor, ...un parámetro por línea.#inicia un comentario.- Un valor no puede contener el separador. Las comillas no ayudan:
"a, b"se lee como dos valores. Reformula el valor o cambia el separador con-d. - Un parámetro es numérico solo si cada uno de sus valores es un número; de lo contrario, todos sus valores son cadenas. Los parámetros numéricos se comparan con números simples (
[Total carrito] >= 50), los parámetros de cadena con cadenas entrecomilladas ([Pago] = "Factura"). Mezclar los dos es el error de modelo más común. ~marca un valor no válido para pruebas negativas. PICT coloca como máximo un valor no válido en una fila, por lo que una mala entrada nunca oculta otra. En las restricciones, escribe el valor sin el~.- Cada restricción termina con
;. Los nombres de los parámetros van entre[corchetes]. Las comparaciones ignoran mayúsculas a menos que pases-c. - Las restricciones eliminan combinaciones que no pueden ocurrir. No son para combinaciones que deberían ser rechazadas por el sistema: una combinación rechazada es una prueba que quieres conservar.
¿Parámetros dados o derivados?
- Si el usuario te entregó los parámetros y valores, úsalos tal cual y ve directamente al paso 4. No le hagas una nueva entrevista sobre un modelo que ya escribió.
- Si derivas el modelo de un requisito, especificación, código, API o pantalla, lee primero
references/modeling-guide.md. Cubre cómo encontrar parámetros, elegir valores con clases de equivalencia y límites, y separar restricciones reales de suposiciones. Luego muestra el modelo antes de generar: una lista corta de parámetros con sus valores, las restricciones con la regla que codifica cada una, y cualquier cosa que hayas asumido que la fuente no indicó. Pide al usuario que confirme o corrija. Un modelo incorrecto produce una tabla de aspecto limpio con un agujero y PICT no puede notarlo, por lo que este es el lugar más barato para detectarlo. Si no puedes preguntar (ejecución no interactiva), continúa y enumera las suposiciones de manera prominente en el resultado.
Lee references/constraints.md cuando una restricción sea más que un simple IF ... THEN ..., o cuando PICT informe un error de restricción. Lee references/advanced.md cuando necesites una cobertura más alta para un subconjunto de parámetros (submodelos), debas mantener estables casos de prueba existentes (siembra), quieras excluir parámetros irrelevantes de las pruebas negativas, o necesites alias, pesos o reutilización de parámetros.
4. Ejecutar PICT
Guarda el modelo como <nombre>.pict y escribe la salida de PICT junto a él como <nombre>.tsv. Colócalos donde el usuario pidió, o donde el proyecto ya mantiene documentos de diseño de pruebas. Si nada indica un lugar, pregunta antes de escribir en lugar de esparcir archivos en la raíz del repositorio.
"<ruta-del-paso-2>" checkout.pict > checkout.tsv
- La salida estándar es la tabla: una fila de encabezado, luego un caso de prueba por línea, separado por tabulaciones. Deja este archivo exactamente como PICT lo escribió; es la evidencia de que los casos provienen del motor.
- El error estándar lleva advertencias y errores. Déjalo llegar a ti y léelo.
- Escribe las opciones con un guión:
-o:3,-d:";". La propia documentación de PICT muestra/o:3, que es lo mismo, pero los shells en Windows (Git Bash) reescriben los argumentos que comienzan con/en rutas de archivo. - No pases
-ra menos que te lo pidan. Sin él, el mismo modelo siempre produce la misma tabla, lo que mantiene significativas las revisiones y diferencias. Con-r, PICT imprime la semilla que usó en el error estándar; regístrala para que la ejecución se pueda repetir con-r:<semilla>.
Orden. El valor predeterminado es pares (-o:2). Auméntalo a -o:3 solo por una razón declarada, como una interacción triple conocida o un área crítica para la seguridad, e informa al usuario de su costo en filas. Para fortalecer solo unos pocos parámetros, usa un submodelo en lugar de aumentar el orden para todo.
5. Verificar el resultado
PICT garantiza la cobertura del modelo que se le dio. No puede saber si el modelo dice lo que se pretendía, y un fallo importante ni siquiera produce un error. Revisa esto en cada ejecución:
- Código de salida. Diferente de cero significa que no hay tabla utilizable: 3 opción incorrecta, 4 modelo incorrecto o archivo ilegible, 5 restricciones incorrectas. Corrige la causa y vuelve a ejecutar.
- Error estándar. Lee cada línea. Dos advertencias dejan el código de salida en 0 y aún significan que la tabla es incorrecta:
Constraints Warning: Restrictive constraints. Output will not contain following values:Uno o más valores no aparecen en ninguna fila, por lo que todo lo que los involucra no se prueba silenciosamente.Constraints Warning: Constraint ... contains unknown parameter. Skipping...Un nombre de parámetro en esa restricción está mal escrito. PICT eliminó toda la regla y generó la tabla sin ella. Corrige el nombre y vuelve a ejecutar.
- Cada valor declarado aparece en al menos una fila del
.tsv. Si falta uno, las restricciones lo hicieron inalcanzable. O una restricción es incorrecta (corrígela), o las reglas realmente se contradicen (informa al usuario qué reglas chocan y qué valor se pierde). No presentes la tabla como completa mientras falte un valor. - Tamaño. Cuenta las filas y compara con el recuento exhaustivo, que es el producto del número de valores de cada parámetro. (
-simprime estadísticas en lugar de casos de prueba; su cifra "Combinations" es el número de pares a cubrir, no el recuento exhaustivo). - Filas negativas. Cada fila tiene como máximo un valor que comienza con
~.
Dos reglas para reparaciones:
- Corrige tus propios errores, como máximo tres reintentos. Los deslices de sintaxis, las discrepancias de tipo y los errores tipográficos son tuyos para corregir. Si el tercer intento aún falla, detente y muestra al usuario el modelo y el mensaje de PICT en lugar de repetir el bucle.
- No cambies en silencio una regla para hacer desaparecer un error. Una restricción representa una regla de negocio. Si las reglas entran en conflicto, ese conflicto es un hallazgo sobre los requisitos, a menudo valioso. Repórtalo y deja que el usuario decida; no elimines ni aflojes la restricción por tu cuenta.
6. Presentar los casos de prueba
Muestra la tabla en la conversación, construida a partir del .tsv con dos columnas añadidas al frente:
| ID | Tipo | Destino | Envío | Pago | Cupón | Total carrito |
|----|----------|---------|-------|------|---------|---------------|
| 1 | positivo | Nacional| Recogida en tienda | Tarjeta | Ninguno | 49 |
| 2 | negativo | UE | Estándar | PayPal | ~Caducado | 500 |
IDnumera las filas en el orden de PICT.Tipoesnegativocuando la fila contiene un valor~, de lo contrariopositivo.
Acompáñalo con:
- Un resumen de una línea:
5 parámetros, por pares (orden 2): 21 casos de prueba en lugar de 432 exhaustivos. - Las rutas de los archivos
.picty.tsvy el comando exacto utilizado. - Suposiciones hechas durante el modelado, y cualquier advertencia o valor inalcanzable del paso 5.
Resultados esperados. PICT produce entradas, no resultados. Agrega una columna Resultado esperado solo cuando el material de origen indique el resultado, y di de dónde viene ("según el requisito 4.2"). Cuando la fuente guarde silencio, escribe no especificado y no inventes un resultado plausible: un resultado esperado adivinado se ve autoritario en una tabla y se convierte en una prueba incorrecta. Para filas negativas, el resultado esperado normalmente es el rechazo del valor no válido; indica el error específico solo si la fuente lo define. Mantén Resultado esperado fuera del .tsv para que la salida del motor y tu razonamiento sigan siendo separables.
Otros formatos (CSV, JSON, Gherkin, una importación de gestión de pruebas): convierte desde el .tsv cuando se te pida. No los produzcas sin que te lo pidan.
Sin PICT. Cuando PICT no esté disponible y el usuario haya optado por no instalarlo, entrega:
- el archivo de modelo
.pict, con la nota de que no ha sido validado porque PICT no lo ha analizado, - el comando exacto para ejecutar una vez que PICT esté disponible,
- el resumen de parámetros y restricciones, y el recuento exhaustivo,
- una declaración clara de que no se generaron casos de prueba y por qué.
No incluyas una tabla hecha a mano "como vista previa" o "para ilustración". Una tabla parcial sin la garantía de cobertura es peor que ninguna, porque se utilizará.
Archivos de referencia
| Leer | Cuándo |
|---|---|
references/modeling-guide.md | Derivar un modelo de un requisito, especificación, API, UI o código |
references/constraints.md | Restricciones no triviales, o cualquier error de restricción de PICT |
references/advanced.md | Submodelos, siembra, exclusión de parámetros en pruebas negativas, alias, pesos, reutilización, separadores |
references/installing-pict.md | find-pict informa status=missing |