Community코딩 & 개발github.com

patch-regression-test

CVE 패치, 라이브러리 및 실행 환경 업데이트, 정적 코드 분석 지적 사항 적용 후에도 앱 동작이 변경되지 않았는지(무영향 확인) 확인합니다. 부족한 테스트를 식별하여 테스트 코드를 작성하고, 패치 전후 결과를 비교한 후 무영향 확인 테스트 수행 보고서를 출력하여 계기가 된 Issue에 댓글로 게시합니다(PR이 있으면 PR에도 Issue 링크를 남깁니다). 리더의 승인 기록도 Issue 댓글로 남깁니다. 앱 소스 코드 수정, 환경 설정, workflow 변경, 커밋은 수행하지 않습니다. 사용자가 이 스킬의 이름을 명시적으로 호출할 때만 사용합니다.

patch-regression-test란 무엇인가요?

Patch-Regression-Test 스킬은 CVE 패치, 라이브러리/실행 환경 업데이트, 정적 코드 분석 결과 적용 후에도 애플리케이션의 기존 기능이 유지되는지 확인하는 무영향 확인을 자동화합니다. 이 스킬은 부족한 테스트를 식별하고 구현하며, 패치 전후 결과를 비교하고, 상세 보고서를 생성하여 관련 Issue 및 PR에 게시합니다. 개발자와 AI 에이전트(Claude Code, Cursor, Codex 등)가 명시적으로 호출할 때만 작동하며, 소스 코드 수정, 환경 설정 변경, workflow 변경, 커밋은 수행하지 않습니다. 긴급 대응(CVE 패치), 평시 항구 준비(테스트 인프라 구축), 계획적 점검(의존성/취약점/소스 코드 수정 검증) 세 가지 시나리오를 지원하며, `--auto` 플래그를 통해 계획적 점검을 무인 실행할 수 있습니다. 스킬은 가이드라인과 기술 기준을 참조하여 일관된 테스트 품질을 보장하고, 사용자 확인이 필요한 지점에서 일시 중지되는 대화형 방식을 채택합니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/doikota/agent-skills/tree/HEAD/.claude/skills/patch-regression-test

Installed? Explore more 코딩 & 개발 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

무영향 확인 테스트 (patch-regression-test)

1. 개요 및 전제

1.1 목적

패치나 수정을 적용한 후에도 앱의 기존 기능이 유지되는지(무영향 확인) 확인합니다. 이를 위해 대상 앱에 부족한 테스트를 식별하여 구현하고, 패치 전후 결과를 비교하며, 결과를 보고서로 정리하여 Issue에 게시합니다.

이 스킬은 가이드라인의 다음 세 가지 상황에서 사용합니다.

  • 긴급 대응. 다른 프로세스에서 긴급 대응을 요청받은 CVE 패치의 무영향 확인을 기한 내에 수행합니다.
  • 평시 항구 준비. 앱의 준비 수준을 진단하고, 부족한 테스트를 사전에 정비합니다(처음과 두 번째 이후 모두 동일).
  • 계획적 점검. 최초 평시 항구 준비 이후, 외부 도구나 사람이 수행한 수정(의존성 업데이트, 취약점 수정, 소스 코드 수정)에 대해 무영향 확인을 수행합니다.

1.2 가이드라인 및 기술 기준

  • 작업을 시작하기 전에 반드시 다음 두 가지를 읽습니다.
    • references/guideline.md(이하 "가이드라인"): 무엇을 충족해야 하는지(분류, 합격/불합격 조건, 역할, 판정 규칙)
    • references/standards.md(이하 "기술 기준"): 어떻게 충족하는지(도구, 확인 방법, 측정 방법, 파일 이름)
  • 판단 기준은 가이드라인을 따르고, 방법은 기술 기준을 따릅니다. 이 스킬, 기술 기준, 가이드라인의 기술이 상충하는 경우 가이드라인을 우선합니다.
  • 용어(확인 범위, 평시 항구 준비, 계획적 점검, 기능 테스트, 호출 위치, 불안정한 테스트, 잠정 합격 등)는 가이드라인 "1.5: 용어"의 정의를 따릅니다.
  • 배포 대상 리포지토리에서는 이 스킬을 .github/skills/patch-regression-test/에 배치합니다(GitHub Copilot과 Devin 모두 읽는 위치).

1.3 이 스킬이 수행하는 작업

  • 대상 앱 분석(언어, 앱 유형, 현재 테스트 및 CI, 호출 위치)
  • 준비 수준 진단(가이드라인 "3.1.1: 준비 수준")
  • 확인 범위 판정안 작성(가이드라인 "2장: 패치 분류 및 확인 기준")
  • 부족한 테스트 식별
  • 테스트 코드 구현. 테스트 실행을 위한 라이브러리 도입은 사용자 허가를 받아 수행
  • 테스트 실행 및 패치 전후 결과 비교(명령어는 실행 전에 내용 설명)
  • 무영향 확인 테스트 수행 보고서 출력 및 Issue에 댓글 게시(PR이 있는 경우 PR에도 Issue 링크를 댓글로 게시)
  • 계기가 된 Issue가 없는 경우 Issue 생성(허가를 받아 수행)
  • 리더의 승인 기록(PR 승인과 대조하여 Issue 댓글로 남김)

1.4 이 스킬이 수행하지 않는 작업

다음 작업은 사용자가 요청하거나 허가가 있어도 수행하지 않습니다. 담당자를 안내합니다.

수행하지 않는 작업담당자
패치 적용, 앱 소스 코드 수정(의존성 버전 업데이트, 파괴적 변경 대응, 취약점 수정, 정적 코드 분석 지적 대응, 테스트 작성을 위한 수정 포함)Dependabot, Devin 등 다른 도구 또는 사람
앱 실행을 위한 환경 설정(실행 환경, 미들웨어 설치 또는 설정 변경). 테스트 실행을 위한 라이브러리 도입 제외사람 또는 각 팀의 CI
workflow 변경 또는 추가각 팀(별도로 정해진 가이드라인 따름)
커밋, 푸시스킬을 호출한 도구 또는 사람
취약점 정보 수집, 긴급 대응 필요 여부 판단, 정적 코드 분석 수행다른 프로세스
배포각 팀의 기존 CD
확인 범위 확정, 예상대로의 차이 승인, PR 승인개발팀 리더
성능 불합격 시 릴리스 판단, 기한 초과 판단차장 이상
시스템 중단 또는 차단 판단별도로 정해진 의사 결정 흐름

1.5 산출물

산출물위치
테스트 코드대상 앱의 기존 테스트 위치에 맞춤
호출 위치 목록대상 앱의 patch-regression-reports/call-sites.md
불안정한 테스트 목록대상 앱의 patch-regression-reports/flaky-tests.md
대화 없음 실행 설정 파일대상 앱의 patch-regression-reports/auto-settings.md
무영향 확인 테스트 수행 보고서대상 앱의 테스트 자원 디렉토리 내 patch-regression-reports/ (이름은 기술 기준 따름)
보고서 댓글계기가 된 Issue. 관련 Issue가 여러 개인 경우 모두("9.4: Issue 및 PR에 댓글 게시")
보고서 링크 댓글대상 PR(PR이 있는 경우)
승인 기록 댓글계기가 된 Issue("10장: 승인 기록")

파일은 리포지토리 내에 저장하는 것까지로 하고, 커밋은 스킬을 호출한 도구나 사람에게 맡깁니다.

1.6 작업 흐름

flowchart TD
  S2[2. 시작 및 상황] --> J0{상황}
  J0 -- 승인 기록 --> S10[10. 승인 기록]
  J0 -- 긴급 대응・평시 항구 준비・계획적 점검 --> S3[3. 입력 정보 확인]
  S3 --> S4[4. 대상 앱 분석]
  S4 --> J{상황}
  J -- 긴급 대응・계획적 점검 --> S5[5. 확인 범위 판정안]
  J -- 평시 항구 준비 --> S6[6. 부족 테스트 식별]
  S5 --> S6
  S6 --> S7[7. 테스트 구현]
  S7 --> S8[8. 테스트 실행 및 비교]
  S8 --> S9[9. 보고서 출력 및 Issue 게시]

1.7 사용자 확인 대기 지점

다음 지점에서는 안과 근거를 제시하여 사용자에게 확인을 요청하고, 응답이 있을 때까지 진행하지 않습니다. 대화 없음 실행(--auto)의 경우 "2.3: 대화 없음 실행(계획적 점검만)"을 따릅니다.

확인을 요청할 때는 판단하는 사람의 이름과 역할(예: 개발팀 리더)도 함께 질문합니다.

  • 상황 및 대상(CVE 번호, PR) 확인, 평시 항구 준비 목표 준비 수준("2장: 시작 및 상황")
  • 설정 파일 저장 또는 업데이트("2.3: 대화 없음 실행(계획적 점검만)")
  • 정보 모순, 누락된 입력 정보 처리("3.3: 상태 확인", "3.4: 누락된 정보 처리")
  • 앱 유형("4.2: 앱 유형")
  • 확인 범위 판정안, 확인 범위 3에서 대상으로 할 항목, 파괴적 변경 목록, 테스트 대상 수정 위치("5장: 확인 범위 판정안")
  • 제외할 테스트 수준, V9: 병행 처리 및 리소스 대상 여부("6.2: 사용자에게 확인할 사항")
  • 구현할 범위("6.4: 구현할 범위 선택")
  • 테스트 실행을 위한 라이브러리 추가, 테스트 체계가 없을 때 도구 선택("7.1: 구현 원칙")
  • 불안정한 테스트 목록에 추가("7.2: 테스트 유형별 구현", "8.4: 실패 분석")
  • 테스트 실행을 위한 라이브러리 설치, 네트워크 사용 취약점 스캔 및 정적 코드 분석, 실행 시간이 긴 테스트를 로컬에서 실행할지 여부("8장: 테스트 실행 및 비교")
  • 테스트 실행에서 발견된 차이가 예상대로인지 여부, 기대값 업데이트("8.5: 차이 처리")
  • Issue 생성, Issue 및 PR에 댓글 게시("9.4: Issue 및 PR에 댓글 게시")

2. 시작 및 상황

2.1 시작 방법

시작 시 인수로 상황을 받습니다.

상황인수 예시
긴급 대응urgent CVE-2026-12345(여러 CVE를 함께 처리하는 경우 urgent CVE-2026-12345 CVE-2026-23456)
평시 항구 준비readiness
계획적 점검planned 123(123은 수정 PR 번호. 생략 가능)
계획적 점검을 대화 없이 실행planned 123 --auto
승인 기록approve 123(123은 PR 번호)
  • 대상 PR. 긴급 대응, 계획적 점검, 승인 기록에서는 패치나 수정을 포함하는 PR이 스킬을 시작하기 전에 생성되어 있다고 가정합니다(Dependabot, Devin, 사람이 생성).
  • 대상 Issue(게시 대상). 보고서를 게시할 Issue를 상황에 따라 다음과 같이 식별합니다. 관련 Issue가 여러 개인 경우 모두를 대상으로 합니다.
    • 긴급 대응: 제목에 대상 CVE 번호를 포함하는 Issue(가이드라인 "7.1: 취약점 정보 및 패치 변경 내용 위치")
    • 계획적 점검: PR에 연결된 Issue. 없으면 제목 규칙("정기적 괴리 체크", "정적 코드 분석")으로 검색. 찾을 수 없으면 생성
    • 평시 항구 준비: Issue가 없으므로 생성
    • 승인 기록: PR에 연결된 Issue
  • 인수가 없는 경우, 어떤 상황인지 사용자에게 질문합니다.
  • 인수가 있는 경우에도 받은 상황과 대상(CVE 번호, PR, 게시 대상 Issue)을 사용자에게 보여주고 확인을 받은 후 진행합니다. --auto의 경우 "2.3: 대화 없음 실행(계획적 점검만)"을 따릅니다.
  • 계획적 점검 PR. PR 번호가 생략된 경우 현재 브랜치에 해당하는 PR을 gh로 식별하고 사용자에게 보여주어 확인을 받습니다.
  • --auto는 계획적 점검(planned)에 한정하여 사용할 수 있습니다. 다른 상황에서 --auto가 지정된 경우 사용할 수 없음을 알리고 대화형 실행으로 전환합니다.

2.2 상황별 작업

상황통과하는 장"8장: 테스트 실행 및 비교"에서 수행할 작업
긴급 대응3~9장추가한 테스트 단독 실행, 패치 전후 비교, 가이드라인 "2.4: 전체 확인 범위 공통 테스트" 실행
평시 항구 준비3,4,6~9장(5장은 수행 안 함)추가한 테스트 단독 실행, 가이드라인 "2.4: 전체 확인 범위 공통 테스트" 중 C1~C4 실행(비교 대상과 대상 취약점이 없으므로 C1의 의존성 트리 비교와 C5, C7은 수행 안 함)
계획적 점검3~9장추가한 테스트 단독 실행, 수정 전후 비교, 가이드라인 "2.4: 전체 확인 범위 공통 테스트" 실행
승인 기록10장만수행 안 함
  • "패치" 대체. 계획적 점검에서는 이 스킬 전체에서 "패치"를 "수정"으로 대체합니다(예: "패치 전"은 "수정 전").
  • 평시 항구 준비 목표. 어느 준비 수준까지 정비할지(예: L2까지) 사용자에게 선택받습니다.
  • 긴급 대응 시간 시각화. "3장: 입력 정보 확인"에서 긴급 대응 착수 요청 시간(I12)을 확인한 직후, 기한(스테이징 배포까지 24시간, 프로덕션 반영까지 48시간, 테스트 추가 및 실행 목표 12시간)을 표시합니다. 이후 각 장이 끝날 때마다 경과 시간을 사용자에게 보고하고 보고서에도 기록합니다.
  • 기한 초과 가능성이 있는 경우(긴급 대응). 확인을 생략해서는 안 됩니다. 기한 초과 가능성과 개발팀 리더로부터 차장 이상으로의 에스컬레이션이 필요함을 사용자에게 알리고, 보고서의 "에스컬레이션 필요 사항"에 기재합니다.
  • 평시에는 기한이 없습니다. 평시 항구 준비와 계획적 점검에서는 기한 표시와 경과 시간 보고를 수행하지 않습니다. 잠정 합격도 사용하지 않습니다.

2.3 대화 없음 실행(계획적 점검만)

계획적 점검에서는 AI 개발 도구가 수정 PR에 대해 이 스킬을 대화 없이 실행할 수 있습니다(planned <PR 번호> --auto). 점검 유형(의존성 업데이트, 취약점 수정, 소스 코드 수정)은 묻지 않습니다.

대화형 실행 시 사람에게 확인하여 결정했을 사항은 보고서의 "대화 없음 실행 시 발견된 확인 필요 항목" 절(이하 이 절에서는 "확인 필요")에 기재합니다. 담당자는 PR 리뷰 시 Issue에 게시된 보고서의 "확인 필요"에 대응합니다.

2.3.1 설정 파일

  • 대화 없음 실행은 설정 파일 patch-regression-reports/auto-settings.md를 전제로 합니다. 템플릿은 templates/auto-settings-template.md입니다.
  • PR이 설정 파일을 변경하는 경우 중단합니다. PR의 변경 파일 목록(예: git diff --name-only <비교 기준 브랜치>...HEAD)에 설정 파일이 포함된 경우 작업을 시작하지 않고 중단하며, 대화형 실행이 필요함을 알리고 종료합니다. PR 자체가 허용 범위를 변경할 수 없도록 하기 위함입니다.
  • 저장. 평시 항구 준비 또는 계획적 점검을 대화형으로 실행한 경우 마지막에 사용자가 응답한 내용을 설정 파일로 정리합니다. 저장하기 전에 내용을 사용자에게 보여주고 확인을 받은 후 저장합니다. 그 자리에서 묻지 않은 항목은 추측하여 작성하지 말고 사용자에게 질문합니다. 이미 설정 파일이 있는 경우 변경 사항을 보여주고 업데이트 확인을 받습니다.
  • 설정 파일이 없거나 형식이 올바르지 않은 경우. --auto를 사용할 수 없습니다. 작업을 시작하지 않고 중단하며 이유를 알리고 종료합니다.
  • --auto에서는 설정 파일을 업데이트하지 않습니다. 설정을 변경해야 할 점을 발견한 경우 "확인 필요"에 기재합니다.

2.3.2 확인 지점 처리

--auto의 경우 "1.7: 사용자 확인 대기 지점"에서는 사용자에게 질문하는 대신 다음과 같이 처리합니다.

확인 지점대화 없음 처리
상황 및 대상 PR계획적 점검으로 처리. PR은 인수 번호 사용. 번호가 없으면 중단
설정 파일 저장/업데이트수행 안 함. 변경해야 할 점은 "확인 필요"에 기재
명령어 설명설명할 대상이 없으므로 실행한 명령어와 내용을 보고서에 기록
정보 모순"확인 필요"에 기재하고 리포지토리 내용을 기반으로 진행
누락된 입력 정보잔존 위험으로 기록
앱 유형설정 파일 값 사용. 소스 코드 추정과 상충하는 경우 "확인 필요"에 기재하고 설정 파일 값으로 진행
확인 범위 판정안, 확인 범위 3 대상 항목, 파괴적 변경 목록, 테스트 대상 수정 위치판정안과 목록으로 진행. 확정은 "확인 필요"에 기재하고 리더가 PR 리뷰에서 수행
제외할 테스트 수준, V9: 병행 처리 및 리소스 대상 여부설정 파일 값 사용
구현할 범위설정 파일 방침 따름
테스트 체계가 없을 때 도구 선택설정 파일에 기록된 도구 사용
테스트 실행을 위한 라이브러리 추가설정 파일 허용 목록에 있는 것만 추가. 그 외는 추가하지 않고 "확인 필요"에 기재
불안정한 테스트 목록에 추가수행 안 함. 후보는 "확인 필요"에 기재
라이브러리 설치, 네트워크 사용 취약점 스캔/정적 코드 분석설정 파일 허용에 따름. 허용이 없으면 수행하지 않고 "CI에서 확인"으로 기록
실행 시간이 긴 테스트설정 파일 방침 따름. 방침이 없으면 CI에 맡김
차이가 예상대로인지 여부, 기대값 업데이트판단 안 함. 기대값도 업데이트 안 함. 차이가 발생한 경우 "확인 필요"에 기재
Issue 및 PR에 댓글 게시수행. 게시 전 확인 생략
계기가 된 Issue가 없는 경우 Issue 생성생성. 생성 전 확인 생략

3. 입력 정보 확인

가이드라인 "7장: 착수 전 수집 정보"의 표(I1~I14)에 따라 작업에 필요한 정보를 갖춥니다.

3.1 확인할 항목

상황확인할 항목
긴급 대응I1~I13 전부. 소스 코드 수정 포함 시 I5에 수정 PR의 차이 포함
평시 항구 준비I7, I8, I8a, I9, I10, I13
계획적 점검점검 유형에 따라 가이드라인 "7장: 착수 전 수집 정보"의 "계획적 점검에서 사용하는 정보" 표에 따름(의존성 업데이트: I3I11, I13, 취약점 수정: I1I11, I13, 소스 코드 수정: I5~I11, I13, I14). 함께 계기가 된 Issue와 수정 적용 시기

I11(스테이징 환경)은 확인 범위 2, 3에서 필수로 합니다. I12(착수 요청 시간 및 기한)는 긴급 대응에서만 사용합니다.

3.2 정보 수집 방법

  • 리포지토리에서 직접 수집하는 정보. 다음 정보는 대상 앱의 리포지토리를 읽어 수집합니다.
    • I3: 업데이트 전후 버전(비교 기준 브랜치와 현재 브랜치의 의존성 파일 비교. 실행 환경 업데이트는 "3.3: 상태 확인"의 파일도 비교)
    • I5: 업데이트 전후 소스 차이. 앱 소스 코드 수정 포함 시 PR 차이
    • I6: 의존성 트리, 함께 업데이트되는 간접 의존성
    • I7: 언어, 앱 유형, 외부 연결 대상
    • I8, I8a: 현재 테스트, GitHub Actions workflow, 커버리지 보고서
  • 외부에서 전달되는 정보. 다음 정보는 다른 프로세스에서 수집됩니다(가이드라인 "7.1: 취약점 정보 및 패치 변경 내용 위치"). gh 명령어로 읽습니다. Issue 식별 방법은 "2.1: 시작 방법"의 "대상 Issue(게시 대상)"를 따릅니다.
    1. 취약점 정보(I1, I2. 긴급 대응 및 계획적 점검의 취약점 수정). 제목에 CVE 번호를 포함하는 Issue에서 읽습니다.
    2. 정적 코드 분석 결과(I14. 계획적 점검의 소스 코드 수정). 제목에 "정적 코드 분석"과 지적 식별자를 포함하는 Issue에서 읽습니다.
    3. 정기적 괴리 체크 Issue(계획적 점검의 의존성 업데이트). 제목에 "정기적 괴리 체크"와 업데이트 대상 이름을 포함하는 Issue에서 읽습니다.
    4. 패치 변경 내용(I4, I5). 패치나 수정을 포함하는 PR(예: Dependabot PR)의 설명문에서 읽습니다.
    5. 수정 적용 시기(계획적 점검). 1~3의 계기가 된 Issue에서 읽습니다.
    6. 찾을 수 없거나 gh를 사용할 수 없는(미인증 등) 경우 사용자에게 대화로 전달받습니다.
  • 사용자에게 질문할 정보. I9(성능 베이스라인), I10(제외할 테스트 수준), I11(스테이징 환경), I12(착수 요청 시간 및 기한), I13(체제)은 리포지토리나 Issue에서 찾을 수 없으면 사용자에게 질문합니다. I13은 판정 및 승인 요청 대상이므로 필수로 하며, 응답이 있을 때까지 진행하지 않습니다.

3.3 상태 확인

이 절은 긴급 대응과 계획적 점검 시 수행합니다. 평시 항구 준비에서는 건너뜁니다.

  • 패치가 적용되었는지 확인. 스킬은 패치나 수정을 포함하는 PR의 브랜치를 획득한 상태로 시작된다고 가정합니다. 비교 기준 브랜치와 현재 브랜치를 비교하여 패치가 적용되었는지 확인합니다.
    • 라이브러리 업데이트에서는 의존성 파일을 비교합니다.
    • 실행 환경, OS, 미들웨어 업데이트(확인 범위 3)에서는 함께 Dockerfile, workflow 내 실행 환경 지정(setup-java 등 버전), 실행 환경 버전을 지정하는 파일(.java-version, .python-version, .nvmrc, global.json 등)도 비교합니다.
    • 정적 코드 분석 지적 대응에서는 지적(I14)의 파일과 행이 PR 차이에 포함되어 있는지 확인합니다.
    • 적용되지 않은 경우 사용자에게 보고하고 작업을 중단합니다.
  • 외부에서 수정된 소스 코드. PR 차이에 앱 소스 코드 변경이 포함되는지 확인합니다. 포함된 경우 수정한 파일과 위치를 기록합니다. 계기를 묻지 않고 테스트 대상에 추가합니다(가이드라인 "2.4: 전체 확인 범위 공통 테스트").
  • 비교 기준 브랜치. "8장: 테스트 실행 및 비교"에서 사용할 비교 기준 브랜치를 확인하고 사용자에게 보여줍니다. 비교 기준 브랜치는 PR의 병합 대상 브랜치로 합니다. 별도로 정해진 가이드라인의 workflow가 다른 브랜치를 비교 기준으로 지정하는 경우 그에 맞춥니다.
  • 정보 모순. 전달된 정보와 리포지토리 내용이 상충하는 경우(예: Issue에 적힌 업데이트 후 버전과 lock 파일이 일치하지 않음) 사용자에게 확인합니다.

3.4 누락된 정보 처리

가이드라인 "7장: 착수 전 수집 정보"를 따릅니다.

상황처리
긴급 대응누락된 필수 정보를 목록화하여 사용자(개발팀 리더)에게 보여주고 그 자리에서 판단을 기다림. 응답이 있을 때까지 진행 안 함
평시 항구 준비누락된 정보를 잔존 위험으로 보고서에 기록
계획적 점검누락된 정보를 잔존 위험으로 보고서에 기록하고 작업 진행

누락된 정보와 받은 판단은 보고서에 기록합니다.

3.5 기록

수집한 정보와 출처(리포지토리 파일 이름, Issue나 PR 번호, 대화 등)를 "9장: 보고서 출력 및 Issue 게시"의 보고서 서두에 기록합니다.

4. 대상 앱 분석

4.1 언어 및 빌드 도구

의존성 파일에서 언어와 빌드 도구를 판정합니다.

파일언어, 빌드 도구
pom.xml, build.gradle*Java(Maven, Gradle)
pyproject.toml, requirements*.txt, poetry.lockPython
package.json, package-lock.json, tsconfig.jsonTypeScript
*.csproj, *.sln, packages.lock.jsonC#

4.2 앱 유형

시작 진입점(Web 프레임워크, main 함수나 작업 정의, 화면 프레임워크 등)에서 앱 유형을 추정합니다. 추정한 유형을 선택지 중에서 선택한 상태로 사용자에게 보여주고 근거를 첨부하여 확인을 요청합니다. 추정이 다른 경우 사용자가 다시 선택합니다.

  • 선택지: 백엔드, 배치 처리, Web 프론트엔드, 데스크톱 앱(여러 개를 겸하는 경우 여러 개 선택)

4.3 현재 테스트 및 CI 인벤토리

  • 테스트. 사용 중인 테스트 프레임워크, 테스트 유형(단위, 통합, E2E, 계약, 성능)별 개수와 위치, 테스트 실행 명령어를 조사합니다.
  • CI. .github/workflows/를 읽고 테스트가 CI에서 실행되는지, 패치 전후 동일한 테스트를 실행하여 결과를 비교하는 체계(가이드라인 "3.1.1: 준비 수준"의 P7)가 있는지 조사합니다. workflow는 읽기만 하고 변경하지 않습니다.
  • 불안정한 테스트. 불안정한 테스트 목록(patch-regression-reports/flaky-tests.md)이 있는지 확인합니다.
  • 외부 연결 대상. DB, API, 파일 등 외부와의 연동을 파악합니다. 계약 테스트 대상을 결정하는 데 사용합니다.

4.4 준비 수준 진단

가이드라인 "3.1.1: 준비 수준"의 P1P11에 대해 각각 "있음", "없음", "이유를 기록하고 제외" 중 어느 것에 해당하는지 판정하고 근거를 첨부하여 표로 정리합니다. 그 위에 앱의 준비 수준(L0L3)을 판정합니다.

준비 수준의 조건은 "CI에서 동작 중인 것"입니다. 따라서 테스트나 스캔이 리포지토리에 있는 것만으로는 "있음"으로 하지 않습니다. "4.3: 현재 테스트 및 CI 인벤토리"에서 읽은 workflow에서 실제로 실행되고 있는지 확인한 후 "있음"으로 합니다. 리포지토리에는 있지만 CI에서 실행되지 않는 것은 "없음(CI에서 미실행)"으로 합니다.

계획적 점검에서는 patch-regression-reports/ 내에 이전 평시 항구 준비 또는 계획적 점검 보고서가 있으면 가장 최신 것과 비교하여 준비 수준이 낮아지지 않았는지 기록합니다. 낮아진 경우 평시 항구 준비로 정비할 필요가 있음을 잔존 위험과 부족 목록의 "팀에서 대응"에 기록합니다.

4.5 호출 위치 목록

앱 소스 코드에서 외부 라이브러리를 호출하는 위치의 목록을 만듭니다(가이드라인 "3.1.1: 준비 수준"의 P4).

상황대상
긴급 대응, 계획적 점검업데이트할 라이브러리(함께 업데이트되는 간접 의존성을 앱이 직접 호출하는 경우 포함)
평시 항구 준비직접 의존하는 모든 라이브러리
  • "3.3: 상태 확인"에서 외부에서 수정된 소스 코드가 발견된 경우 상황을 묻지 않고 수정한 위치와 그 위치를 호출하는 처리도 대상에 추가합니다.
  • 호출 위치별로 해당 위치를 통과하는 테스트가 있는지 조사합니다. 테스트 코드 내용을 읽어 판단하고 커버리지 보고서가 있으면 보조로 사용합니다.
  • 목록은 patch-regression-reports/call-sites.md에 저장합니다. 이미 있는 경우 내용을 현재 소스 코드에 맞춰 업데이트합니다.

4.6 기록

"4.1: 언어 및 빌드 도구"~"4.5: 호출 위치 목록"의 결과를 "9장: 보고서 출력 및 Issue 게시"의 보고서에 기록합니다.

5. 확인 범위 판정안

이 장은 긴급 대응과 계획적 점검 시 수행합니다. 확인 범위를 확정하는 것은 개발팀 리더이며, 이 스킬은 판정안만 만듭니다.

5.1 점검 유형(계획적 점검만)

계기가 된 Issue와 PR에서 가이드라인 "3.5.1: 점검 계기 및 유형"의 유형(의존성 업데이트, 취약점 수정, 소스 코드 수정)을 판정합니다. 하나의 PR에 여러 유형이 포함된 경우 각각에 대해 다음을 수행합니다.

5.2 판정 절차

  • 의존성 업데이트, 취약점 수정 및 긴급 대응. 가이드라인 "2.2: 판정 절차"의 흐름도에 따라 판정하고 분기별로 근거를 제시합니다. 근거에는 업데이트 전후 버전(I3), 릴리스 노트, 변경 이력, 마이그레이션 가이드(I4), 업데이트 전후 소스 차이(I5), 의존성 트리(I6)를 사용합니다.
    • 간접 의존성 버전도 변경되는 경우 변경되는 간접 의존성도 업데이트 대상으로 판정하고 가장 큰 확인 범위에 맞춥니다(가이드라인 "2.3: 판정 주의 사항").
    • 시그니처 변경은 기술 기준의 언어별 확인 방법으로 확인합니다. 명령어는 실행 전에 내용을 설명합니다. 빌드 시 의존 라이브러리 다운로드가 발생하는 경우 "8장: 테스트 실행 및 비교"의 서두에 따라 사용자 허가를 받습니다.
  • 소스 코드 수정(계획적 점검). 확인 범위를 사용하지 않습니다. "3.3: 상태 확인"에서 기록한 수정 위치와 그 위치를 호출하는 처리를 테스트 대상으로 목록화합니다. 지적이 취약점인지 여부도 기록합니다(C5 필요 여부에 사용).

5.3 변경을 확인할 수 없는 경우

여러 버전을 걸친 업데이트 등으로 릴리스 노트나 차이로 버전별 변경을 확인할 수 없는 경우 가이드라인 "2.1.1: 변경을 확인할 수 없는 경우"에 따라 버전 상승 방식으로 확인 범위를 결정합니다. 어떤 버전을 확인할 수 없었는지를 근거에 씁니다.

5.4 확인 범위 3에서 대상으로 할 항목

확인 범위 3에서는 가이드라인 "2.5: 확인 범위별 추가 테스트"의 확인 범위 2 항목 중 어떤 것이 대상이 될지 업데이트 내용을 보고 판단합니다.

  • 라이브러리 API 변경을 수반하지 않는 업데이트(예: 컨테이너 베이스 이미지 업데이트)에서는 "라이브러리 측 동작 차이 분석"과 "파괴적 변경 목록"은 대상이 없습니다. "해당 없음(이유)"으로 합니다.
  • 프레임워크 계열 업데이트 등 라이브러리 API 변경을 수반하는 업데이트에서는 확인 범위 2의 모든 항목을 대상으로 합니다.
  • 확인 범위 3용 환경 확인(가이드라인 "3.3: 확인 범위 3용 환경 확인 CI 자동화")이 CI에 통합되지 않은 경우 부족 목록에서 "팀에서 대응"으로 하고 판정안은 "판단 대기"로 합니다. 이 환경 확인 workflow를 이 스킬로 만들어서는 안 됩니다.

5.5 파괴적 변경 목록(확인 범위 2, 3)

마이그레이션 가이드를 메이저 버전별로 읽고 파괴적 변경 목록을 만듭니다. 메이저 버전을 2개 이상 걸친 업데이트도 하나의 PR로 처리하며, 차이가 발생했을 때 어떤 버전의 변경에 의한 것인지 분석할 수 있도록 목록은 버전별로 나누어 씁니다. 목록은 "6장: 부족 테스트 식별"과 "8.5: 차이 처리"의 차이 분류에 사용합니다. 마이그레이션 가이드가 PR 설명문에 없는 경우 사용자에게 전달받습니다.

5.6 준비 수준과 대조(긴급 대응만)

  • 판정한 확인 범위와 "4.4: 준비 수준 진단"에서 판정한 준비 수준을 바탕으로 기한(테스트 추가 및 실행 목표 12시간, 스테이징 배포까지 24시간) 내에 대응을 완료할 수 있을지 예상을 제시합니다. 준비가 부족하여 기한 내에 완료할 수 없을 것으로 예상되는 경우 가이드라인 "3.1.1: 준비 수준"에 따라 리더로부터 차장 이상으로의 에스컬레이션이 필요함을 사용자에게 알립니다.
  • 확인 범위 3에서 환경 확인이 CI에 통합되지 않은 경우 가이드라인 "4.2: 확인 범위 3을 긴급 대응으로 처리하는 경우"에 따라 에스컬레이션이 필요함을 알립니다. 시스템 중단이나 기한 초과는 이 스킬에서 판단하지 않습니다.

5.7 확정 및 기록

점검 유형, 확인 범위 판정안, 확인 범위 3에서 대상으로 할 항목, 파괴적 변경 목록, 테스트 대상 수정 위치를 사용자(개발팀 리더)에게 보여주고 확정받을 때까지 진행하지 않습니다. 확정된 내용, 판정 이유, 확정한 사람을 "9장: 보고서 출력 및 Issue 게시"의 보고서에 기록합니다.

6. 부족 테스트 식별

6.1 비교 기준

상황기준
긴급 대응, 계획적 점검가이드라인 "2.4: 전체 확인 범위 공통 테스트"와 확정된 확인 범위의 가이드라인 "2.5: 확인 범위별 추가 테스트"(확인 범위 3에서는 "5.4: 확인 범위 3에서 대상으로 할 항목"에서 대상으로 한 것). 외부에서 수정된 소스 코드가 있는 경우 수정한 위치와 그 위치를 호출하는 처리의 테스트 포함
평시 항구 준비가이드라인 "3.1.1: 준비 수준"의 P1~P11 중 사용자가 선택한 준비 수준까지의 항목

개별 케이스에서 기준 간에 맞지 않는 경우 망설여지면 넓게 확인하는 쪽으로 기울이고 그 사실을 사용자에게 알립니다.

어떤 상황에서도 가이드라인 "5장: 확인 관점 체크리스트"의 V1~V11을 테스트 설계 시 관점으로 사용합니다. 관점별 확인 방법은 기술 기준을 따릅니다. V9: 병행 처리 및 리소스(멀티스레드, 동시 접속, 타이밍, 메모리/디스크/네트워크, 비동기 처리)는 기본적으로 대상으로 하지 않습니다. 업데이트 내용에 따라 대상 여부를 "6.2: 사용자에게 확인할 사항"에서 사용자에게 질문합니다.

6.2 사용자에게 확인할 사항

  • 제외할 테스트 수준. 확정된 확인 범위에서 제외해도 좋은 테스트 수준(단위, 통합, E2E, 계약, 성능)을 사용자에게 질문합니다. 제외 이유도 질문하고 보고서에 기록합니다.
  • V9: 병행 처리 및 리소스 대상 여부. 업데이트 내용에 따라 대상으로 할지 질문합니다. V9를 대상으로 하는 경우 병행 처리 및 리소스 테스트를 실시합니다. 대상으로 하지 않는 경우 보고서의 "테스트를 대상으로 하지 않은 사항"에 기록합니다.

6.3 부족 테스트 식별 절차

  1. 기존 테스트 확인. 대상 앱의 기존 테스트에서 "6.1: 비교 기준"의 기준을 충족하는지 확인합니다.
  2. 부족한 테스트 목록화. 기준을 충족하지 않는 테스트를 목록화합니다. 목록에는 다음 항목을 포함합니다.
    • 가이드라인 "2.4: 전체 확인 범위 공통 테스트"의 각 항목(C1~C7)
    • 가이드라인 "2.5: 확인 범위별 추가 테스트"의 각 항목(확정된 확인 범위에 대응)
    • 가이드라인 "5장: 확인 관점 체크리스트"의 V1~V11 중 대상으로 하는 관점
    • 호출 위치 목록( "4.5: 호출 위치 목록")에서 테스트가 없는 위치
    • 외부에서 수정된 소스 코드가 있는 경우 수정 위치와 호출 처리의 테스트
  3. 테스트 우선순위 설정. 각 부족한 테스트에 대해 중요도와 긴급도를 평가하고 우선순위를 설정합니다. 우선순위는 "8장: 테스트 실행 및 비교"에서 주의 깊게 확인할 항목을 결정하는 데 사용합니다.
  4. 우선순위 결정 기준. 가이드라인 "6.1: 부족 테스트 식별"의 우선순위 기준을 따릅니다.
    • P1: 보안 관련 테스트(취약점 스캔, 인증, 인가 등)
    • P2: 핵심 기능 테스트(주요 사용자 스토리, 주요 API 엔드포인트 등)
    • P3: 경계값 및 예외 처리 테스트
    • P4: 성능 및 부하 테스트
    • P5: 기타 테스트(문서, 코드 품질 등)

6.4 구현할 범위 선택

부족한 테스트 목록에서 이번에 구현할 범위를 선택합니다. 선택 범위는 사용자에게 보여주고 확인을 받습니다.

평시 항구 준비. 사용자가 선택한 준비 수준(L2 등)까지 필요한 테스트를 모두 구현합니다. 긴급 대응, 계획적 점검. 확인 범위와 우선순위를 기반으로 기한(긴급 대응의 경우)이나 작업 범위를 고려하여 선택합니다. 모든 부족 테스트를 구현할 수 없는 경우 우선순위가 높은 것부터 구현하고 구현하지 않은 것은 보고서의 "미구현 항목"에 기록합니다.

6.5 기록

비교 기준, 제외할 테스트 수준, V9: 병행 처리 및 리소스 대상 여부, 부족 테스트 목록 및 우선순위, 구현할 범위, 사용자 확인 결과를 "9장: 보고서 출력 및 Issue 게시"의 보고서에 기록합니다.

7. 테스트 구현

7.1 구현 원칙

  • 기존 테스트 프레임워크 사용. 대상 앱이 이미 사용 중인 테스트 프레임워크를 사용합니다. 테스트 프레임워크가 없는 경우 사용자에게 적절한 프레임워크를 제안하고 확인을 받아 도입합니다.
  • 기존 테스트 패턴 준수. 기존 테스트의 작성 패턴(설정, 단언 방식, 픽스처 등)을 따릅니다.
  • 테스트 독립성. 각 테스트는 다른 테스트에 의존하지 않고 독립적으로 실행 가능해야 합니다.
  • 테스트 명명 규칙. 기존 테스트의 명명 규칙을 따릅니다. 규칙이 없는 경우 <테스트 대상>_<상황>_<기대 동작> 형식을 사용합니다.
  • 테스트 위치. 기존 테스트의 위치에 맞춥니다. 기존 테스트 위치가 명확하지 않은 경우 대상 앱의 소스 코드 구조에 따라 적절한 위치를 선택하고 사용자에게 확인합니다.
  • 라이브러리 도입. 테스트 실행에 필요한 라이브러리를 도입해야 하는 경우 사용자에게 제안하고 확인을 받습니다. 도입 전에 라이브러리 이름, 버전, 목적을 설명합니다.

7.2 테스트 유형별 구현

가이드라인 "5장: 확인 관점 체크리스트"의 V1V11 및 "2.4: 전체 확인 범위 공통 테스트"의 C1C7, "2.5: 확인 범위별 추가 테스트"를 기반으로 다음 테스트 유형을 구현합니다.

테스트 유형설명
단위 테스트개별 함수, 메서드의 동작 확인. 모의 객체 사용 가능
통합 테스트여러 컴포넌트 간의 상호 작용 확인. 실제 의존성 사용 가능
E2E 테스트시스템 전체 흐름 확인. 필요 시 사용자 환경 필요
계약 테스트외부 API나 서비스와의 계약 준수 확인
성능 테스트응답 시간, 처리량 등 성능 기준 충족 확인
  • 각 테스트 유형의 구현은 대상 앱의 아키텍처와 기술 스택에 맞춥니다.
  • 불안정한 테스트 탐지. 테스트 구현 중 불안정한(간헐적으로 실패하는) 테스트가 발견된 경우 "7.3: 불안정한 테스트 처리"에 따라 처리합니다.

7.3 불안정한 테스트 처리

  • 탐지. 테스트를 여러 번 실행하거나 CI에서 간헐적으로 실패하는 테스트를 식별합니다.
  • 확인. 불안정한 테스트가 발견된 경우 원인을 분석하고 사용자에게 보고합니다.
  • 목록 등록. 불안정한 테스트 목록(patch-regression-reports/flaky-tests.md)에 추가하고 사용자 확인을 받습니다.
  • 처리 방침. 불안정한 테스트에 대한 처리 방침(수정, 제거, 무시 등)을 사용자와 협의합니다.

7.4 구현 일정 및 우선순위

  • 우선순위에 따른 구현. "6.4: 구현할 범위 선택"에서 선택한 범위 내에서 우선순위가 높은 테스트부터 구현합니다.
  • 시간 제약. 긴급 대응의 경우 기한(12시간 목표)을 고려하여 구현합니다. 필요한 경우 우선순위가 낮은 테스트는 구현을 생략하고 보고서에 기록합니다.

7.5 기록

구현한 테스트 목록, 사용한 테스트 프레임워크, 도입한 라이브러리, 불안정한 테스트 처리 결과를 "9장: 보고서 출력 및 Issue 게시"의 보고서에 기록합니다.

8. 테스트 실행 및 비교

8.1 실행 전 준비

  • 환경 확인. 테스트 실행에 필요한 환경(라이브러리, 도구, 스테이징 환경 등)이 갖추어졌는지 확인합니다.
  • 명령어 설명. 실행할 명령어(예: npm test, mvn test, pytest 등)의 내용을 실행하기 전에 사용자에게 설명하고 확인을 받습니다.
  • 라이브러리 설치. 필요한 라이브러리 설치 시 사용자에게 설명하고 확인을 받습니다.
  • 비교 기준 브랜치. "3.3: 상태 확인"에서 확인한 비교 기준 브랜치를 사용합니다.

8.2 테스트 실행

  • 테스트 실행. 추가한 테스트를 포함하여 모든 테스트를 실행합니다. CI workflow를 그대로 사용하거나 로컬에서 실행합니다.
  • 결과 기록. 실행 결과(성공, 실패, 건너뜀 등)를 기록합니다.
  • 실패 시 처리. 테스트가 실패한 경우 "8.4: 실패 분석" 및 "8.5: 차이 처리"에 따라 처리합니다.

8.3 패치 전후 비교

  • 비교 실행. 동일한 테스트를 패치 전(또는 수정 전) 브랜치에서도 실행하여 결과를 비교합니다.
  • 차이 확인. 테스트 결과(성공/실패, 실행 시간, 출력 등)의 차이를 확인합니다.
  • 비교 기준. "3.3: 상태 확인"에서 확인한 비교 기준 브랜치를 사용합니다.

8.4 실패 분석

테스트가 실패한 경우 다음을 수행합니다.

  1. 실패 원인 분석. 로그, 스택 트레이스 등을 분석하여 실패 원인을 파악합니다.
  2. 차이 분류. 실패가 패치(또는 수정)에 의한 것인지, 기존 테스트의 문제인지, 환경 문제인지 분류합니다.
  3. 불안정한 테스트 확인. 실패가 불안정한 테스트에 의한 것인지 확인하고, 해당하는 경우 "7.3: 불안정한 테스트 처리"에 따라 처리합니다.
  4. 예상 차이 확인. 실패가 예상된 차이(예: 의도적인 동작 변경)인지 사용자에게 확인합니다.
  5. 기대값 업데이트. 예상된 차이로 확인된 경우 기대값을 업데이트하고 테스트를 수정합니다.

8.5 차이 처리

차이 유형처리
예상된 차이기대값 업데이트, 테스트 수정, 차이를 보고서에 기록
예상치 못한 차이(패치에 의한 것)보고서에 기록, 리더에게 에스컬레이션, 수정 필요 시 "팀에서 대응"에 기재
예상치 못한 차이(기존 테스트 문제)"불안정한 테스트"로 등록, 수정 또는 제외, 사용자 확인
환경 차이환경 문제 해결, 재실행, 해결 불가 시 보고서에 기록
  • 차이가 발견된 경우 사용자에게 보고하고 처리 방침을 협의합니다.

8.6 기록

테스트 실행 결과, 패치 전후 비교 결과, 실패 분석 결과, 차이 처리 결과를 "9장: 보고서 출력 및 Issue 게시"의 보고서에 기록합니다.

9. 보고서 출력 및 Issue 게시

9.1 보고서 형식

보고서는 마크다운 형식으로 출력합니다. 보고서 파일 이름은 기술 기준에 따릅니다.

9.2 보고서 구성

보고서는 다음 항목을 포함합니다.

  1. 메타 정보
    • 보고서 생성 일시
    • 상황(긴급 대응, 평시 항구 준비, 계획적 점검)
    • 대상(CVE 번호, PR 번호 등)
    • 담당자(스킬을 호출한 도구 또는 사람)
  2. 입력 정보 요약("3장: 입력 정보 확인"에서 수집한 정보)
  3. 대상 앱 분석 결과("4장: 대상 앱 분석")
    • 언어, 빌드 도구
    • 앱 유형
    • 현재 테스트 및 CI
    • 준비 수준
    • 호출 위치 목록
  4. 확인 범위 판정 결과("5장: 확인 범위 판정안", 긴급 대응 및 계획적 점검)
    • 확인 범위
    • 확인 범위 3 대상 항목
    • 파괴적 변경 목록
    • 확정자
  5. 부족 테스트 식별 결과("6장: 부족 테스트 식별")
    • 비교 기준
    • 부족 테스트 목록 및 우선순위
    • 구현한 범위
    • 미구현 항목 및 이유
  6. 테스트 구현 결과("7장: 테스트 구현")
    • 구현한 테스트 목록
    • 사용한 테스트 프레임워크
    • 도입한 라이브러리
    • 불안정한 테스트 처리 결과
  7. 테스트 실행 결과("8장: 테스트 실행 및 비교")
    • 실행 명령어
    • 테스트 결과(성공/실패/건너뜀)
    • 패치 전후 비교 결과
    • 실패 분석 결과
    • 차이 처리 결과
  8. 결론 및 권장 사항
    • 무영향 확인 결과(합격/불합격/잠정 합격 등)
    • 잔존 위험
    • 에스컬레이션 필요 사항(해당하는 경우)
    • 팀에서 대응해야 할 사항
  9. 대화 없음 실행 시 발견된 확인 필요 항목("2.3: 대화 없음 실행", 해당하는 경우)
  10. 부록
    • 호출 위치 목록
    • 불안정한 테스트 목록
    • 테스트 실행 로그

9.3 보고서 저장

보고서는 대상 앱의 테스트 자원 디렉토리 내 patch-regression-reports/에 저장합니다. 파일 이름은 기술 기준에 따릅니다(예: patch-regression-report_YYYYMMDD_HHMMSS.md).

9.4 Issue 및 PR에 댓글 게시

  • 게시 대상. 보고서 댓글을 계기가 된 Issue에 게시합니다. 관련 Issue가 여러 개인 경우 모두에 게시합니다. PR이 있는 경우 PR에도 Issue 링크를 댓글로 게시합니다.
  • 게시 전 확인. 게시하기 전에 게시할 내용과 대상을 사용자에게 보여주고 확인을 받습니다. --auto의 경우 확인을 생략합니다.
  • 댓글 내용. 댓글에는 보고서 파일의 링크와 주요 결과 요약을 포함합니다.
  • 승인 기록. "10장: 승인 기록"에 따라 리더의 승인 기록을 Issue 댓글로 게시합니다.

9.5 기록

보고서 출력 및 게시 결과를 기록합니다.

10. 승인 기록

10.1 개요

리더의 승인을 기록합니다. 이 장은 approve <PR 번호>로 호출된 경우에만 실행합니다.

10.2 승인 확인

  • PR 상태 확인. 대상 PR의 상태(병합 가능, 리뷰 완료 등)를 확인합니다.
  • 승인 정보 수집. PR의 승인 정보(승인자, 승인 일시, 승인 코멘트)를 수집합니다.
  • 연결된 Issue 확인. PR에 연결된 Issue를 확인합니다. 연결된 Issue가 없는 경우 사용자에게 확인합니다.

10.3 승인 기록 게시

  • 게시 내용. 승인 정보(승인자 이름, 역할, 승인 일시, 승인 코멘트)를 Issue 댓글로 게시합니다.
  • 게시 전 확인. 게시 전에 내용을 사용자에게 보여주고 확인을 받습니다.
  • 기록 보존. 게시된 댓글은 삭제하지 않습니다.

10.4 기록

승인 기록 결과(게시 일시, 게시한 Issue, 게시 내용)를 기록합니다.

관련 스킬