Design de Testes Pairwise com PICT
PICT é o gerador de testes combinatórios da Microsoft. Forneça um modelo (parâmetros, seus valores e regras sobre quais valores não podem ser combinados) e ele retorna um conjunto pequeno de casos de teste onde cada par de valores aparece pelo menos uma vez. A maioria dos defeitos é desencadeada por um valor ou pela interação de dois, então isso encontra a maior parte do que o teste exaustivo encontraria, por uma fração do tamanho.
Seu trabalho se divide em duas partes, e a divisão é importante:
- O modelo é seu trabalho. Escolher parâmetros, selecionar valores representativos e codificar as regras de negócio reais como restrições é onde o pensamento acontece e onde a qualidade dos testes é decidida.
- As combinações são trabalho do PICT. Cobrir cada par sob restrições com poucas linhas é um problema de busca difícil. Pessoas e modelos de linguagem são ruins nisso: tabelas feitas à mão perdem pares e quebram restrições enquanto parecem perfeitamente razoáveis. Portanto, toda tabela de casos de teste que você entregar vem de uma execução real do PICT. Se o PICT não puder ser executado, você entrega o modelo e informa isso. Você não escreve as linhas sozinho, nem mesmo para um modelo pequeno.
Essa regra única é o que torna a saída confiável, e é por isso que o usuário está usando esta skill em vez de pedir "algumas combinações de teste".
Fluxo de Trabalho
- Verifique se a técnica se encaixa
- Localize o PICT
- Construa o modelo
- Execute o PICT
- Verifique o resultado
- Apresente os casos de teste
1. Verifique se a técnica se encaixa
Pairwise compensa quando há três ou mais parâmetros que podem ser combinados livremente e suas interações podem importar. Diga isso e se afaste quando não se encaixar, em vez de forçar um modelo:
- Dois parâmetros: todos os pares é simplesmente toda combinação. Apenas liste-os, o PICT não adiciona nada.
- Uma função com poucas entradas, sequências de etapas, máquinas de estado, temporização, carga: outras técnicas se encaixam (valores de contorno, teste de transição de estado, e assim por diante). Mencione qual e ofereça continuar sem esta skill.
O escopo aqui é design de teste: uma tabela de combinações de entrada. Transformar linhas em código de teste executável é uma tarefa separada; faça isso apenas se for solicitado, depois que a tabela existir.
2. Localize o PICT
Execute o script de detecção incluído. Ele é somente leitura e offline.
sh <skill-dir>/scripts/find-pict.sh # Linux, macOS, WSL, Git Bash
powershell -NoProfile -ExecutionPolicy Bypass -File <skill-dir>\scripts\find-pict.ps1 # Windows
Se o usuário informou onde o binário está, passe-o: PICT_BIN=/caminho/para/pict sh .../find-pict.sh.
Ele imprime linhas chave=valor:
status=encontrado
caminho=/usr/local/bin/pict
origem=PATH
flags=o d a n e r c s
caminhoé o executável a ser executado. Use esse caminho exato daqui em diante.flagslista as letras de opção que este binário suporta. A versão lançada (3.7.4, que é o que o Homebrew e o download oficial do Windows fornecem) suporta exatamenteo d a n e r c s. Compilações de fonte mais recentes adicionam outras, comob(melhor de N sementes) et(threads). Use apenas uma opção cuja letra esteja emflags; uma opção desconhecida faz o PICT sair com erro. Se o usuário pedir algo que o binário não tem, informe e ofereça o que funciona.
Se você não puder executar o script, faça as mesmas verificações manualmente: a variável
ambiente PICT_BIN, então pict no PATH, então o diretório de cache
(~/.cache/pict-skill/ ou %LOCALAPPDATA%\pict-skill\). Execute o candidato
sem argumentos e confirme que ele imprime "Pairwise Independent Combinatorial
Testing" seguido por sua lista de opções.
Quando status=ausente: leia references/installing-pict.md e siga-o.
A versão resumida: nunca instale, baixe ou compile nada sem a
autorização explícita do usuário, porque buscar e compilar software é uma decisão
deles, não um efeito colateral de pedir casos de teste. Ofereça as escolhas, deixe-os
escolher. Se eles recusarem, ou a instalação falhar, continue com a etapa 3 e
use o final "Sem PICT" na etapa 6.
3. Construa o modelo
Um modelo é um arquivo de texto simples. Parâmetros primeiro, então submodelos opcionais, depois restrições, nessa ordem.
# Checkout - envio e pagamento
Destino: Nacional, UE, Internacional
Envio: Padrão, Expresso, Retirada
Pagamento: Cartão, PayPal, Fatura
Cupom: Nenhum, Porcentagem, FreteGratis, ~Expirado
Total carrinho: 1, 49, 50, 500
SE [Envio] = "Retirada" ENTÃO [Destino] = "Nacional";
SE [Pagamento] = "Fatura" ENTÃO [Total carrinho] >= 50;
Essenciais:
Nome: valor, valor, ...um parâmetro por linha.#inicia um comentário.- Um valor não pode conter o separador. Aspas não ajudam:
"a, b"é lido como dois valores. Reformule o valor ou mude o separador com-d. - Um parâmetro é numérico apenas se cada um de seus valores for um número;
caso contrário, todos os seus valores são strings. Parâmetros numéricos comparam com
números puros (
[Total carrinho] >= 50), parâmetros string comparam com strings entre aspas ([Pagamento] = "Fatura"). Misturar os dois é o erro de modelo mais comum. ~marca um valor inválido para teste negativo. PICT coloca no máximo um valor inválido por linha, então uma entrada ruim nunca esconde outra. Nas restrições, escreva o valor sem o~.- Toda restrição termina com
;. Nomes de parâmetros vão entre[colchetes]. Comparações ignoram maiúsculas/minúsculas a menos que você passe-c. - Restrições removem combinações que não podem acontecer. Elas não são para combinações que devem ser rejeitadas pelo sistema: uma combinação rejeitada é um teste que você deseja manter.
Parâmetros dados ou derivados?
- Se o usuário lhe entregou os parâmetros e valores, use-os como fornecidos e vá direto para a etapa 4. Não o entreviste novamente sobre um modelo que ele já escreveu.
- Se você derivar o modelo de um requisito, especificação, código, API ou tela, leia
references/modeling-guide.mdprimeiro. Ele cobre como encontrar parâmetros, escolher valores com classes de equivalência e limites, e separar restrições reais de suposições. Então mostre o modelo antes de gerar: uma lista curta de parâmetros com seus valores, as restrições com a regra que cada uma codifica, e qualquer coisa que você assumiu que a fonte não afirmou. Peça ao usuário para confirmar ou corrigir. Um modelo errado produz uma tabela de aparência limpa com um furo e o PICT não consegue perceber, então este é o lugar mais barato para pegá-lo. Se você não puder perguntar (execução não interativa), prossiga e liste as suposições prominentemente no resultado.
Leia references/constraints.md quando uma restrição for mais do que um simples
SE ... ENTÃO ..., ou quando o PICT relatar um erro de restrição. Leia
references/advanced.md quando você precisar de cobertura mais alta para um subconjunto
de parâmetros (submodelos), deve manter casos de teste existentes estáveis (semeadura), deseja
excluir parâmetros irrelevantes de testes negativos, ou precisar de aliases, pesos
ou reutilização de parâmetros.
4. Execute o PICT
Salve o modelo como <nome>.pict e escreva a saída do PICT ao lado como
<nome>.tsv. Coloque-os onde o usuário pediu, ou onde o projeto já
mantém documentos de design de teste. Se nada indicar um lugar, pergunte antes de escrever
em vez de espalhar arquivos na raiz do repositório.
"<caminho-da-etapa-2>" checkout.pict > checkout.tsv
- A saída padrão é a tabela: uma linha de cabeçalho, então um caso de teste por linha, separado por tabulação. Deixe este arquivo exatamente como o PICT o escreveu; é a evidência de que os casos vieram do mecanismo.
- A saída de erro padrão carrega avisos e erros. Deixe-a chegar até você e leia-a.
- Escreva opções com um traço:
-o:3,-d:";". A própria documentação do PICT mostra/o:3, que é a mesma coisa, mas shells no Windows (Git Bash) reescrevem argumentos começando com/em caminhos de arquivo. - Não passe
-ra menos que seja solicitado. Sem ele, o mesmo modelo sempre produz a mesma tabela, o que mantém revisões e diffs significativos. Com-r, PICT imprime a semente que usou na saída de erro padrão; registre-a para que a execução possa ser repetida com-r:<semente>.
Ordem. O padrão é pares (-o:2). Aumente para -o:3 apenas por um motivo
declarado, como uma interação de três vias conhecida ou uma área crítica de segurança,
e informe ao usuário o custo em linhas. Para fortalecer apenas alguns parâmetros, use
um submodelo em vez de aumentar a ordem para tudo.
5. Verifique o resultado
PICT garante cobertura do modelo que recebeu. Ele não pode dizer se o modelo significa o que foi pretendido, e uma falha importante nem mesmo produz um erro. Percorra isso a cada execução:
- Código de saída. Diferente de zero significa que não há tabela utilizável: 3 opção inválida, 4 modelo inválido ou arquivo ilegível, 5 restrições inválidas. Corrija a causa e execute novamente.
- Saída de erro padrão. Leia cada linha. Dois avisos deixam o código de saída em 0
e ainda significam que a tabela está errada:
Constraints Warning: Restrictive constraints. Output will not contain following values:Um ou mais valores não aparecem em nenhuma linha, então tudo que os envolve é silenciosamente não testado.Constraints Warning: Constraint ... contains unknown parameter. Skipping...Um nome de parâmetro nessa restrição está escrito incorretamente. PICT descartou toda a regra e gerou a tabela sem ela. Corrija o nome e execute novamente.
- Cada valor declarado aparece em pelo menos uma linha do
.tsv. Se um estiver faltando, as restrições o tornaram inalcançável. Ou uma restrição está errada (corrija-a), ou as regras realmente se contradizem (informe ao usuário quais regras colidem e qual valor está perdido). Não apresente a tabela como completa enquanto um valor estiver faltando. - Tamanho. Conte as linhas e compare com a contagem exaustiva, que é
o produto do número de valores de cada parâmetro. (
-simprime estatísticas em vez de casos de teste; seu número "Combinações" é o número de pares a cobrir, não a contagem exaustiva.) - Linhas negativas. Cada linha tem no máximo um valor começando com
~.
Duas regras para reparos:
- Corrija seus próprios erros, no máximo três execuções. Erros de sintaxe, incompatibilidades de tipo e erros de digitação são seus para corrigir. Se a terceira tentativa ainda falhar, pare e mostre ao usuário o modelo e a mensagem do PICT em vez de entrar em loop.
- Não mude silenciosamente uma regra para fazer um erro desaparecer. Uma restrição representa uma regra de negócio. Se as regras entram em conflito, esse conflito é uma descoberta sobre os requisitos, muitas vezes valiosa. Reporte-o e deixe o usuário decidir; não delete ou afrouxe a restrição por conta própria.
6. Apresente os casos de teste
Mostre a tabela na conversa, construída a partir do .tsv com duas colunas adicionadas
na frente:
| ID | Tipo | Destino | Envio | Pagamento | Cupom | Total carrinho |
|----|-----------|-------------|-----------|-----------|----------|----------------|
| 1 | positivo | Nacional | Retirada | Cartão | Nenhum | 49 |
| 2 | negativo | UE | Padrão | PayPal | ~Expirado| 500 |
IDnumera as linhas na ordem do PICT.Tipoénegativoquando a linha contém um valor~, caso contráriopositivo.
Siga com:
- Um resumo de uma linha:
5 parâmetros, pairwise (ordem 2): 21 casos de teste em vez de 432 exaustivos. - Os caminhos dos arquivos
.picte.tsve o comando exato usado. - Suposições feitas durante a modelagem, e qualquer aviso ou valor inalcançável da etapa 5.
Resultados esperados. PICT produz entradas, não resultados. Adicione uma coluna
Resultado Esperado apenas onde o material de origem afirmar o resultado, e diga de onde
vem ("conforme requisito 4.2"). Onde a fonte for silenciosa, escreva
não especificado e não invente um resultado plausível: um resultado esperado
adivinhado parece autoritário em uma tabela e se transforma em um teste errado. Para
linhas negativas, o resultado esperado é normalmente a rejeição do valor
inválido; indique o erro específico apenas se a fonte o definir. Mantenha
Resultado Esperado fora do .tsv para que a saída do mecanismo e seu raciocínio permaneçam
separáveis.
Outros formatos (CSV, JSON, Gherkin, uma importação de gerenciamento de teste): converta a partir do
.tsv quando solicitado. Não os produza sem solicitação.
Sem PICT. Quando o PICT não estiver disponível e o usuário escolheu não instalá-lo, entregue:
- o arquivo de modelo
.pict, com a nota de que ele não foi validado porque o PICT não o analisou, - o comando exato para executar assim que o PICT estiver disponível,
- o resumo de parâmetros e restrições, e a contagem exaustiva,
- uma declaração simples de que nenhum caso de teste foi gerado e por quê.
Não inclua uma tabela feita à mão "como pré-visualização" ou "para ilustração". Uma tabela parcial sem a garantia de cobertura é pior do que nenhuma, porque será usada.
Arquivos de referência
| Leia | Quando |
|---|---|
references/modeling-guide.md | Derivando um modelo de um requisito, especificação, API, IU ou código |
references/constraints.md | Restrições não triviais, ou qualquer erro de restrição do PICT |
references/advanced.md | Submodelos, semeadura, exclusão de parâmetros em testes negativos, aliases, pesos, reutilização, separadores |
references/installing-pict.md | find-pict reporta status=ausente |