Community코딩 & 개발github.com

pict-pairwise-testing

Microsoft PICT를 활용하여 페어와이즈(올페어) 및 n-way 조합 테스트 케이스를 설계합니다. 요구사항, 명세, API, 폼, 기능 플래그 세트 또는 구성 매트릭스를 PICT 모델(매개변수, 값, 제약조건, 음수 값 포함)로 변환하고 실제 PICT 엔진을 실행하여 간결하고 검증된 테스트 케이스 테이블을 반환합니다.

pict-pairwise-testing란 무엇인가요?

이 스킬은 Microsoft의 PICT(조합 테스트 생성기)를 기반으로 페어와이즈 및 n-way 조합 테스트 케이스를 설계합니다. 페어와이즈 테스팅은 대부분의 결함이 단일 값 또는 두 값의 상호작용으로 인해 발생한다는 경험적 사실에 기반하여, 모든 가능한 조합을 테스트하는 대신 모든 값의 쌍이 최소 한 번 이상 등장하는 소규모 테스트 케이스 세트를 생성합니다. 이 스킬은 Claude Code, Cursor, Codex 등 AI 에이전트 환경에서 사용할 수 있으며, 사용자가 페어와이즈, 올페어, 조합 테스팅, PICT, 직교 배열 또는 테스트 매트릭스를 언급할 때, 또는 '너무 많은 조합', '브라우저/OS/디바이스/로케일/설정/플래그/옵션의 조합을 어떻게 커버할지', '과도하게 큰 테스트 매트릭스를 줄이는 방법'과 같은 문제를 설명할 때 자동으로 활성화됩니다. 이 스킬의 핵심은 모델 구축(매개변수, 값, 비즈니스 규칙을 제약조건으로 인코딩)은 사람이 수행하고, 실제 조합 생성은 PICT 엔진이 처리하도록 하여 신뢰할 수 있는 테스트 케이스를 제공하는 것입니다. PICT를 사용할 수 없는 경우에는 모델 파일을 제공하고 PICT를 설치한 후 실행할 명령어를 안내합니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/radekBednarik/skills/tree/HEAD/skills/pict-pairwise-testing

Installed? Explore more 코딩 & 개발 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

PICT를 사용한 페어와이즈 테스트 설계

PICT는 Microsoft의 조합 테스트 생성기입니다. 모델(매개변수, 해당 값, 그리고 함께 사용할 수 없는 값에 대한 규칙)을 제공하면 모든 값의 쌍이 최소 한 번 이상 나타나는 소규모 테스트 케이스 세트를 반환합니다. 대부분의 결함은 하나의 값 또는 두 값의 상호작용에 의해 발생하므로, 이 방법은 전체 테스트의 극히 일부 크기로 대부분의 결함을 찾아냅니다.

여러분의 작업은 두 부분으로 나뉘며, 이 구분은 중요합니다:

  • 모델은 여러분의 작업입니다. 매개변수 선택, 대표 값 선정, 실제 비즈니스 규칙을 제약조건으로 인코딩하는 것은 사고가 필요한 부분이며 테스트 품질을 결정합니다.
  • 조합은 PICT의 작업입니다. 제약 조건 하에서 모든 쌍을 적은 행으로 커버하는 것은 어려운 검색 문제입니다. 사람과 언어 모델은 이 작업에 부적합합니다. 수작업으로 만든 테이블은 완벽해 보이지만 쌍을 놓치고 제약 조건을 위반합니다. 따라서 여러분이 제공하는 모든 테스트 케이스 테이블은 실제 PICT 실행 결과에서 비롯됩니다. PICT를 실행할 수 없는 경우 모델을 전달하고 그 이유를 설명합니다. 작은 모델의 경우에도 여러분이 직접 행을 작성하지 않습니다.

이 단일 규칙이 출력의 신뢰성을 보장하며, 이것이 사용자가 "몇 가지 테스트 조합"을 요청하는 대신 이 스킬을 사용하는 이유입니다.

워크플로

  1. 기법 적합성 확인
  2. PICT 찾기
  3. 모델 구축
  4. PICT 실행
  5. 결과 확인
  6. 테스트 케이스 제시

1. 기법 적합성 확인

페어와이즈는 자유롭게 조합할 수 있는 세 개 이상의 매개변수가 있고 이들의 상호작용이 중요할 수 있을 때 효과적입니다. 해당하지 않는 경우 다음과 같이 말하고 다음 단계로 넘어갑니다. 모델을 강제로 만들지 마세요:

  • 두 개의 매개변수: 모든 쌍은 모든 조합과 동일합니다. 그냥 나열하면 되며 PICT가 필요하지 않습니다.
  • 소수의 입력만 있는 단일 함수, 단계 시퀀스, 상태 머신, 타이밍, 부하: 다른 기법(경계값 분석, 상태 전이 테스팅 등)이 적합합니다. 어떤 기법이 적합한지 언급하고 이 스킬 없이 계속 진행할 것을 제안합니다.

이 스킬의 범위는 테스트 설계, 즉 입력 조합의 테이블입니다. 행을 실행 가능한 테스트 코드로 변환하는 것은 별도의 작업이며, 테이블이 존재한 후에 요청이 있을 때만 수행합니다.

2. PICT 찾기

번들된 감지 스크립트를 실행합니다. 읽기 전용이며 오프라인에서 작동합니다.

sh <skill-dir>/scripts/find-pict.sh                                             # Linux, macOS, WSL, Git Bash
powershell -NoProfile -ExecutionPolicy Bypass -File <skill-dir>\scripts\find-pict.ps1   # Windows

사용자가 바이너리 위치를 알려준 경우 전달합니다: PICT_BIN=/path/to/pict sh .../find-pict.sh.

key=value 줄을 출력합니다:

status=found
path=/usr/local/bin/pict
source=PATH
flags=o d a n e r c s
  • path는 실행할 실행 파일입니다. 지금부터 이 정확한 경로를 사용합니다.
  • flags는 이 바이너리가 지원하는 옵션 문자를 나열합니다. 릴리스 버전(3.7.4, Homebrew 및 공식 Windows 다운로드에서 제공)은 정확히 o d a n e r c s를 지원합니다. 최신 소스 빌드는 b(최상의 N 시드) 및 t(스레드)와 같은 다른 옵션을 추가합니다. flags에 있는 문자만 사용하십시오. 알 수 없는 옵션은 PICT를 오류와 함께 종료시킵니다. 사용자가 바이너리에 없는 기능을 요청하면 알리고 작동하는 옵션을 제안합니다.

스크립트를 실행할 수 없는 경우 동일한 확인을 수동으로 수행합니다: PICT_BIN 환경 변수, 그 다음 PATH의 pict, 그 다음 캐시 디렉토리(~/.cache/pict-skill/ 또는 %LOCALAPPDATA%\pict-skill\). 인수 없이 후보를 실행하고 "Pairwise Independent Combinatorial Testing"과 옵션 목록이 출력되는지 확인합니다.

status=missing인 경우: references/installing-pict.md를 읽고 따릅니다. 요약: 사용자의 명시적인 동의 없이는 아무것도 설치, 다운로드 또는 빌드하지 마십시오. 소프트웨어를 가져오고 컴파일하는 것은 사용자의 결정이지 테스트 케이스를 요청한 부작용이 아닙니다. 선택지를 제시하고 사용자가 선택하도록 합니다. 사용자가 거절하거나 설치가 실패하면 3단계를 계속 진행한 다음 6단계에서 "PICT 없음" 종료를 사용합니다.

3. 모델 구축

모델은 일반 텍스트 파일입니다. 먼저 매개변수, 그 다음 선택적 하위 모델, 그 다음 제약 조건 순서입니다.

# Checkout - 배송 및 결제
Destination: Domestic, EU, International
Shipping:    Standard, Express, Pickup
Payment:     Card, PayPal, Invoice
Coupon:      None, Percent, FreeShipping, ~Expired
Cart total:  1, 49, 50, 500

IF [Shipping] = "Pickup"  THEN [Destination] = "Domestic";
IF [Payment]  = "Invoice" THEN [Cart total] >= 50;

필수 사항:

  • 이름: 값, 값, ... 한 줄에 하나의 매개변수. #는 주석을 시작합니다.
  • 값에는 구분자를 포함할 수 없습니다. 따옴표도 도움이 되지 않습니다: "a, b"는 두 개의 값으로 읽힙니다. 값을 변경하거나 -d로 구분자를 변경합니다.
  • 매개변수는 모든 값이 숫자인 경우에만 숫자 매개변수입니다. 그렇지 않으면 모든 값이 문자열입니다. 숫자 매개변수는 숫자와 비교하고([Cart total] >= 50), 문자열 매개변수는 따옴표로 묶인 문자열과 비교합니다([Payment] = "Invoice"). 이 둘을 혼합하는 것은 가장 흔한 모델 오류입니다.
  • ~는 부정 테스트를 위한 잘못된 값을 표시합니다. PICT는 한 행에 최대 하나의 잘못된 값만 넣으므로 하나의 잘못된 입력이 다른 입력을 숨기지 않습니다. 제약 조건에서는 ~ 없이 값을 작성합니다.
  • 모든 제약 조건은 ;로 끝납니다. 매개변수 이름은 [대괄호] 안에 넣습니다. 비교는 -c를 전달하지 않는 한 대소문자를 무시합니다.
  • 제약 조건은 발생할 수 없는 조합을 제거합니다. 시스템에서 거부되어야 하는 조합을 위한 것이 아닙니다. 거부된 조합은 유지하려는 테스트입니다.

매개변수가 주어졌는가, 도출해야 하는가?

  • 사용자가 매개변수와 값을 이미 제공했다면 주어진 대로 사용하고 바로 4단계로 이동합니다. 사용자가 이미 작성한 모델에 대해 재차 질문하지 마십시오.
  • 요구사항, 명세, 코드, API 또는 화면에서 모델을 도출하는 경우 먼저 references/modeling-guide.md를 읽습니다. 매개변수를 찾는 방법, 동등 클래스와 경계값으로 값을 선택하는 방법, 실제 제약 조건과 가정을 분리하는 방법을 다룹니다. 그런 다음 생성 전에 모델을 보여줍니다: 값이 포함된 매개변수의 짧은 목록, 각 규칙을 인코딩하는 제약 조건, 출처에 명시되지 않은 가정. 사용자에게 확인 또는 수정을 요청합니다. 잘못된 모델은 깔끔해 보이지만 구멍이 있는 테이블을 생성하며 PICT는 이를 인지할 수 없으므로, 이 단계에서 잡는 것이 가장 저렴합니다. 질문할 수 없는 경우(비대화형 실행) 진행하고 결과에서 가정을 눈에 띄게 나열합니다.

제약 조건이 단순한 IF ... THEN ... 이상이거나 PICT가 제약 조건 오류를 보고하는 경우 references/constraints.md를 읽습니다. 매개변수 하위 집합에 대해 더 높은 커버리지가 필요하거나(하위 모델), 기존 테스트 케이스를 안정적으로 유지해야 하거나(시딩), 부정 테스트에서 관련 없는 매개변수를 제외해야 하거나, 별칭, 가중치 또는 매개변수 재사용이 필요한 경우 references/advanced.md를 읽습니다.

4. PICT 실행

모델을 <name>.pict로 저장하고 PICT의 출력을 <name>.tsv로 옆에 저장합니다. 사용자가 요청한 위치나 프로젝트에서 이미 테스트 설계 문서를 보관하는 위치에 저장합니다. 위치가 명확하지 않은 경우 저장소 루트에 파일을 흩뜨리지 않고 쓰기 전에 물어보십시오.

"<2단계의 경로>" checkout.pict > checkout.tsv
  • 표준 출력은 테이블입니다: 헤더 행, 그 다음 탭으로 구분된 한 줄에 하나의 테스트 케이스. 이 파일을 PICT가 작성한 그대로 둡니다. 케이스가 엔진에서 왔다는 증거입니다.
  • 표준 오류는 경고와 오류를 전달합니다. 확인하고 읽으십시오.
  • 옵션은 대시와 함께 작성합니다: -o:3, -d:";". PICT의 자체 문서는 /o:3을 보여주며 동일하지만, Windows 셸(Git Bash)은 /로 시작하는 인수를 파일 경로로 재작성합니다.
  • 요청하지 않는 한 -r을 전달하지 마십시오. -r 없이 동일한 모델은 항상 동일한 테이블을 생성하여 검토와 diff를 의미 있게 유지합니다. -r을 사용하면 PICT가 사용된 시드를 표준 오류로 출력합니다. -r:<시드>로 실행을 반복할 수 있도록 기록하십시오.

순서. 기본값은 쌍(-o:2)입니다. 알려진 3방향 상호작용이나 안전 중요 영역과 같은 명시된 이유가 있는 경우에만 -o:3으로 높이고, 행 수에 미치는 비용을 사용자에게 알립니다. 몇몇 매개변수만 강화하려면 모든 것에 대해 순서를 높이는 대신 하위 모델을 사용합니다.

5. 결과 확인

PICT는 제공된 모델의 커버리지를 보장합니다. 모델이 의도한 바를 말하는지 알 수 없으며, 중요한 실패 중 하나는 오류조차 생성하지 않습니다. 매 실행마다 다음을 확인하십시오:

  1. 종료 코드. 0이 아니면 사용 가능한 테이블이 없음을 의미합니다: 3 잘못된 옵션, 4 잘못된 모델 또는 읽을 수 없는 파일, 5 잘못된 제약 조건. 원인을 수정하고 다시 실행합니다.
  2. 표준 오류. 모든 줄을 읽습니다. 두 가지 경고는 종료 코드를 0으로 남겨두고 여전히 테이블이 잘못되었음을 의미합니다:
    • Constraints Warning: Restrictive constraints. Output will not contain following values: 하나 이상의 값이 어떤 행에도 나타나지 않으므로, 해당 값과 관련된 모든 것이 자동으로 테스트되지 않습니다.
    • Constraints Warning: Constraint ... contains unknown parameter. Skipping... 해당 제약 조건의 매개변수 이름이 잘못 입력되었습니다. PICT가 전체 규칙을 삭제하고 제약 조건 없이 테이블을 생성했습니다. 이름을 수정하고 다시 실행합니다.
  3. 선언된 모든 값이 .tsv의 최소 하나의 행에 나타납니다. 하나라도 누락된 경우 제약 조건이 해당 값에 도달할 수 없도록 만들었습니다. 제약 조건이 잘못되었거나(수정), 규칙이 실제로 서로 모순됩니다(어떤 규칙이 충돌하고 어떤 값이 손실되었는지 사용자에게 알림). 값이 누락된 상태에서 테이블을 완전하다고 제시하지 마십시오.
  4. 크기. 행 수를 계산하고 각 매개변수 값 수의 곱인 전체 조합 수와 비교합니다. (-s는 테스트 케이스 대신 통계를 출력합니다. "Combinations" 수치는 커버할 쌍의 수이지 전체 조합 수가 아닙니다.)
  5. 부정 행. 각 행에는 ~로 시작하는 값이 최대 하나 있습니다.

수리에 대한 두 가지 규칙:

  • 자신의 실수를 수정하되, 최대 3회 재실행. 구문 실수, 유형 불일치 및 오타는 여러분이 수정합니다. 세 번째 시도에도 실패하면 무한 루프 대신 모델과 PICT 메시지를 사용자에게 보여주고 중단합니다.
  • 오류를 없애기 위해 규칙을 조용히 변경하지 마십시오. 제약 조건은 비즈니스 규칙을 나타냅니다. 규칙이 충돌하면 그 충돌은 요구사항에 대한 발견이며, 종종 가치 있는 것입니다. 이를 보고하고 사용자가 결정하도록 합니다. 스스로 제약 조건을 삭제하거나 완화하지 마십시오.

6. 테스트 케이스 제시

앞에 두 개의 열을 추가하여 .tsv에서 작성된 테이블을 대화에 표시합니다:

| ID | Type     | Destination | Shipping | Payment | Coupon   | Cart total |
|----|----------|-------------|----------|---------|----------|------------|
| 1  | positive | Domestic    | Pickup   | Card    | None     | 49         |
| 2  | negative | EU          | Standard | PayPal  | ~Expired | 500        |
  • ID는 PICT 순서대로 행에 번호를 매깁니다.
  • Type은 행에 ~ 값이 포함된 경우 negative, 그렇지 않으면 positive입니다.

다음 내용을 함께 제공합니다:

  • 한 줄 요약: 5개 매개변수, 페어와이즈(순서 2): 432개의 전체 조합 대신 21개의 테스트 케이스.
  • .pict 및 .tsv 파일의 경로와 사용된 정확한 명령어.
  • 모델링 중에 수행한 가정, 그리고 5단계의 경고 또는 도달 불가능한 값.

예상 결과. PICT는 입력을 생성하지 결과를 생성하지 않습니다. Expected 열은 출처 자료에서 결과를 명시하는 경우에만 추가하고, 그 출처가 어디인지 말합니다("요구사항 4.2에 따라"). 출처가 명확하지 않은 경우 미지정이라고 쓰고 그럴듯한 결과를 임의로 만들지 마십시오. 추측한 예상 결과는 테이블에서 권위적으로 보이다가 잘못된 테스트로 변합니다. 부정 행의 경우 예상 결과는 일반적으로 잘못된 값의 거부입니다. 출처에서 정의하는 경우에만 구체적인 오류를 명시합니다. Expected를 .tsv 파일에 포함시키지 않아 엔진 출력과 여러분의 추론이 분리 가능하도록 유지합니다.

다른 형식(CSV, JSON, Gherkin, 테스트 관리 시스템 가져오기): 요청 시 .tsv에서 변환합니다. 요청 없이 생성하지 마십시오.

PICT 없음. PICT를 사용할 수 없고 사용자가 설치를 선택하지 않은 경우 다음을 제공합니다:

  • .pict 모델 파일(아직 PICT가 구문 분석하지 않았으므로 검증되지 않았다는 참고와 함께),
  • PICT를 사용할 수 있게 되면 실행할 정확한 명령어,
  • 매개변수 및 제약 조건 요약, 전체 조합 수,
  • 테스트 케이스가 생성되지 않은 이유와 함께 생성되지 않았다는 명확한 설명.

"미리보기" 또는 "설명용"으로 수작업 테이블을 포함하지 마십시오. 커버리지 보장 없이 부분적인 테이블은 전혀 없는 것보다 나쁩니다. 사용될 것이기 때문입니다.

참조 파일

읽기시기
references/modeling-guide.md요구사항, 명세, API, UI 또는 코드에서 모델 도출 시
references/constraints.md중요하지 않은 제약 조건 또는 PICT의 제약 조건 오류 시
references/advanced.md하위 모델, 시딩, 부정 테스트에서 매개변수 제외, 별칭, 가중치, 재사용, 구분자 시
references/installing-pict.mdfind-pict가 status=missing을 보고할 때

관련 스킬