수동 테스트 계획은(는) 무엇을 하나요?
실행 중인 앱에서 이 브랜치를 확인하기 위한 계획을 작성합니다. 이 계획은 자동화된 테스트가 보여줄 수 없는 부분, 즉 실제 데이터와 실제 플로우에서 사용자가 도달할 수 있는 모든 상태에서 변경 사항이 어떻게 보이고 동작하는지를 다룹니다.
모든 케이스는 이를 해결할 수 있는 주체(브라우저를 구동하는 에이전트, iOS 시뮬레이터를 구동하는 에이전트, 또는 사람)에게 할당됩니다. 에이전트가 해결할 수 있는 모든 것은 에이전트에게 제공하세요. 오직 사람만이 해결할 수 있는 케이스의 경우, 에이전트가 먼저 리허설로 시도하여 사람이 시간을 투자하기 전에 명백한 문제를 찾고 사람이 어디를 봐야 하는지 알 수 있도록 하세요.
앱에서 케이스를 실행하는 것은 비용이 많이 듭니다. 브라우저를 구동하는 에이전트는 동일한 확인을 위해 코드 테스트보다 훨씬 많은 토큰을 소비하고, 사람은 몇 분을 소비합니다. 따라서 계획은 작고 집중적으로 유지해야 합니다. 중요 버그를 발견할 가능성이 가장 높은 케이스만 포함하고, 코드 테스트로 충분히 커버할 수 있는 것은 포함하지 마세요. 좋은 계획은 전체를 실행할 수 있을 정도로 짧아야 합니다.
같은 이유로, 계획을 작성하고 실행하는 시점은 늦추세요: 코드를 읽는 리뷰, 그로 인한 수정 및 리팩토링, 코드 테스트가 완료된 후에 실행하세요. 그런 다음 병합될 코드에서 계획을 한 번만 실행하면 되고, 저렴한 검사는 이전 단계에서 이미 완료되었습니다. 코드가 여전히 변경 중이라면 계획 상단에 그 사실을 명시하세요. 계획이 실행된 후 코드가 변경되면, 다시 실행해야 하는 케이스(변경된 코드를 가리키는 '확인 대상' 줄이 있는 케이스)를 지정하세요.
로컬 노트. LOCAL.md 파일이 이 파일 옆에 있다면 시작하기 전에 읽으세요. 이 파일은 사용자가 작업하는 프로젝트에 대한 기본값(명령어, 호스트, 계정, 경로)을 담고 있으며, 게시된 스킬의 일부가 아닙니다. 해당 프로젝트를 다루는 경우 프로젝트 지침의 일부로 간주됩니다. 그렇지 않은 경우 무시하세요.
변경 사항 수집
요청이 기본 브랜치를 명시할 수 있습니다. 명시되지 않은 경우 다음 순서로 선택하세요:
- 브랜치의 풀 리퀘스트 기본 브랜치(있는 경우):
gh pr view --json baseRefName --jq .baseRefName. - 저장소의 기본 브랜치:
git symbolic-ref --short refs/remotes/origin/HEAD. origin/main, 그 다음main.
같은 이름의 로컬 브랜치보다 원격 추적 ref(origin/<branch>)를 우선 사용하세요. 아직 커밋되지 않은 작업도 포함하세요:
base=$(git merge-base <base> HEAD)
git diff --stat "$base" # 커밋됨 + 스테이징됨 + 스테이징 안 됨
git diff "$base"
git status --short # 추적되지 않은 파일은 diff에 없습니다. 읽으세요.
git log --oneline "$base"..HEAD
diff에 포함되지 않은 세 가지 소스 읽기
diff는 변경된 내용을 보여줍니다. 변경의 목적, 사람들이 이미 발견한 문제, 이 대화에서 결정된 사항은 보여주지 않습니다. 어떤 케이스를 선택하기 전에 세 가지를 모두 읽으세요. 이는 필요 입력 사항이지 배경이 아닙니다. 계획은 무엇을 읽었는지 보고하고 각 소스가 계획을 어떻게 형성했는지 보여줍니다.
1. 풀 리퀘스트 및 댓글
pr=$(gh pr view --json number --jq .number)
gh pr view --json title,body,baseRefName
for kind in "issues/$pr/comments" "pulls/$pr/reviews" "pulls/$pr/comments"; do
gh api "repos/{owner}/{repo}/$kind" --paginate --jq '.[]
| select(.user.type != "Bot" and (.body // "") != "")
| {id, reply_to: .in_reply_to_id, user: .user.login, path, line: (.line // .original_line), body}'
done
세 가지 목록은 대화 댓글, 리뷰 요약, diff의 인라인 댓글이며, 봇 출력은 제외됩니다. 봇은 일반적으로 배포 링크가 있는 곳이므로 별도로 찾으세요. 배포된 환경은 계획이 실행되는 곳이 아닙니다(아래 '로컬 빌드 테스트' 참조). 링크는 비교 및 대비용입니다:
gh api "repos/{owner}/{repo}/issues/$pr/comments" --paginate \
--jq '.[] | select(.user.type == "Bot") | .body' | grep -oE 'https?://[^ )|>"]+' | sort -u
설명, 모든 사람의 댓글, 작성자의 답변을 읽으세요. 설명의 보고는 댓글의 보고와 동일하게 취급합니다. 다음을 수집하세요:
- 사람이 앱에서 본 모든 것: 잘못된 값, 끝나지 않는 상태, 깨진 플로우, 스크린샷. 각각은 해당 보고를 정확히 재테스트하는 케이스가 됩니다. 그런 다음 동일한 결함이 나타날 수 있는 다른 곳(형제 화면, 다른 방식으로 도달한 동일한 상태)을 질문하고 거기에 케이스를 고려하세요.
- 리뷰에서 제기된 동작에 대한 의문 ("순서가 표시된 것과 일치하지 않을 수 있음"): 각각은 가능성이 높은 후보 케이스입니다. 코드를 읽은 사람이 이미 의심했기 때문입니다.
- 설명의 테스트 노트: 작성자가 테스트했다고 말한 것과 테스트하지 않았다고 말한 것. 커밋 로그(
git log --format='%h %ad %s' --date=short "$base"..HEAD)에 대해 노트의 날짜를 확인하세요: 이후 커밋이 동일한 코드를 건드리기 전에 테스트된 것은 현재 형태로 테스트되지 않은 것입니다. 마지막 수동 테스트 이후에 추가된 커밋이 계획의 첫 번째 목표가 되어야 합니다. - 배포된 환경에 대한 링크: 브랜치 자체의 배포와 기본 브랜치의 배포. 나란히 비교하기 위함입니다.
- 스레드에서 결정된 동작 방식. 이것들은 예상 결과를 확정합니다.
2. 이슈
브랜치 이름, 커밋 제목, 풀 리퀘스트 제목이나 본문, 또는 풀 리퀘스트의 트래커 봇 댓글에서 이슈 식별자를 찾으세요. 프로젝트 지침에 명시된 트래커와 사용 가능한 도구를 사용하여 조회하세요. 설명, 수용 기준, 토론, 첨부된 스크린샷이나 재현 단계를 읽으세요. 다음을 수집하세요:
- 원본 보고서. 이슈가 버그를 설명하는 경우, 재현 단계가 계획의 첫 번째 케이스가 됩니다: 보고된 단계와 수정된 동작을 예상 결과로 합니다. 이슈가 제목만 있거나 읽을 수 없는 스레드나 첨부 파일을 가리키는 경우, 그렇게 명시하고 제목과 풀 리퀘스트 설명에서 케이스를 재구성하여 재구성되었음을 표시하세요.
- 각 수용 기준. 모든 기준은 다음 세 가지 중 하나에 포함되어야 합니다: 계획의 케이스, 이를 커버하는 명명된 코드 테스트, 또는 제외된 목록과 그 이유.
- 이슈가 명시한 영향받는 사용자, 데이터 및 플랫폼. 이는 테스트할 데이터 형태와 장치를 나타냅니다.
- 관련 이슈 이슈가 링크한 것들로, 동일한 영역이 다른 방식으로 실패하는 경우를 설명합니다.
3. 지금까지의 대화
작성하기 전에 이 대화를 다시 살펴보세요. 다음을 수집하세요:
- 리뷰 결과: 먼저 현재 트리와 비교하여 수정되었을 수 있으므로 확인하세요. 실행 중인 앱이 필요한 결과는 케이스를 받습니다: 수정을 확인하는 케이스 또는 결함이 남아 있는 경우를 보여주는 케이스. 코드 테스트로 확정할 수 있는 결과는 케이스가 아닌 작성할 테스트 목록에 넣으세요.
- 이전 리뷰 단계의 '미확인' 목록 및 수동 검증 단계. 이들은 앱에서 확인하기 위해 작성된 것입니다. 가장 직접적인 입력입니다.
- 사용자가 변경 사항에 대해 말한 내용: 걱정하는 부분, 언급한 상태, 이미 수동으로 테스트한 것, 시간을 쓰지 말라고 한 것. 명시된 우려는 케이스의 등급을 높입니다. '이미 확인했습니다'는 제거합니다.
- 대화에서 결정된 동작 방식. 코드만으로는 열려 있는 예상 결과를 확정합니다.
- 대화 중 코드에서 변경된 사항. 이 세션에서 작성되거나 다시 작성된 코드는 가장 적게 테스트되었습니다.
대화에 관련 내용이 없으면 계획에 명시하세요. 마치 있는 것처럼 가장하지 마세요.
소스를 읽을 수 없는 경우
gh가 없거나 로그인되지 않았거나, 브랜치에 풀 리퀘스트가 없거나, 연결된 이슈가 없거나, 트래커에 연결할 수 없는 경우, 있는 것으로 계속 진행하세요. 읽지 않은 각 소스를 계획 상단에 명시하고, 계획이 포함된 내용을 놓칠 수 있다고 말하세요. diff만으로 작성된 계획을 완전한 계획으로 제시하지 마세요.
계획에 영향을 미치는 다른 사항 읽기
-
로컬에서 앱을 실행하는 방법: 프로젝트에 문서화된 로컬 빌드 명령어, 연결되는 백엔드, 사용하는 포트. 프로젝트의 테스트 환경, 테스트 계정, 기능 플래그에 대한 지침과 앱이 제공되는 플랫폼(웹, iOS, Android)을 읽으세요.
-
자동화된 테스트가 커버하는 내용: diff의 테스트를 읽어 계획이 이미 테스트가 확정한 내용에 시간을 낭비하지 않도록 하세요.
-
여기서 에이전트가 사용할 수 있는 도구: 구동할 수 있는 브라우저와 장치 시뮬레이터. Orca에서는 내장 브라우저(
orca-cli스킬)와 iOS 시뮬레이터(orca-emulator스킬, Android는orca-emulator-android)입니다. 또한 다음을 확인하세요:- 에이전트가 구동할 수 있는 스크린 리더. 예:
voiceover스킬은 실제 macOS VoiceOver를 페이지에 대해 실행하고 말한 내용을 반환합니다. - 스크립트 브라우저 (설치된 브라우저가 있는 Playwright). 내장 브라우저가 할 수 없는 작업을 위해 사용합니다. 예를 들어 내장 브라우저는 시스템 클립보드에 복사본을 넣지 못할 수 있으므로, 복사된 내용을 확인하려면 에이전트가 클립보드를 읽을 수 있는 브라우저가 필요합니다.
이 세션에서 사용 가능한 것을 기록하고 계획 설정에서 명시하세요.
- 에이전트가 구동할 수 있는 스크린 리더. 예:
배포된 브랜치가 아닌 로컬 빌드 테스트
모든 케이스를 작업 트리의 로컬 빌드에 대해 계획하세요. 배포된 기능 또는 미리보기 환경은 커밋되고 푸시된 것만 가지고 있습니다. 작업 중인 코드보다 뒤처지고, 커밋되지 않은 변경 사항을 보여줄 수 없으며, 테스트 중에 수정 사항이 발생하면 다시 테스트하려면 커밋하고 푸시해야 합니다. 로컬 빌드는 현재 상태의 코드를 보여주며, 수정 사항을 즉시 다시 테스트할 수 있습니다.
따라서 계획 설정에는 다음이 포함됩니다:
- 로컬에서 앱을 빌드하고 시작하는 방법. 프로젝트 문서의 정확한 명령어, 실행할 디렉토리, 제공되는 URL. 다른 세션이나 작업 트리에서 앱을 실행 중일 수 있는 경우 사용 가능한 포트를 선택하는 방법을 명시하세요.
- 로컬 빌드가 연결되는 백엔드. 반드시 스테이징 또는 테스트 백엔드여야 하며, 절대 프로덕션이 아니어야 합니다. 프로덕션을 가리키는 로컬 빌드는 모든 케이스(모의 케이스 및 주문 포함)를 실제 고객 시스템에 대해 실행합니다. 프로젝트는 종종 환경별 명령어(예:
stage및prod스크립트)를 가지고 있습니다. 계획에서 스테이징 명령어를 지정하고 프로덕션 명령어를 사용해서는 안 된다고 명시하세요. 프로젝트 문서가 어떤 명령어가 어떤 백엔드를 대상으로 하는지 명확하지 않은 경우 빌드 구성에서 확인하고, 여전히 불명확하면 중단하고 사용자에게 물어보세요. 추측하지 마세요. - 첫 번째 케이스 전에 백엔드를 확인하는 방법: 실행 중인 앱이 요청을 보내는 위치(네트워크 로그의 API 호출 호스트 또는 구성된 API URL)를 확인하고 스테이징 호스트인지 확인하세요. 계획은 예상 호스트를 지정합니다. 프로덕션 호스트인 경우 중단하고 로그인하지 말고 케이스를 실행하지 마세요.
- 빌드가 현재 코드임을 확인하는 방법: 마지막 변경 후 작업 트리에서 시작하고, 추가 변경 후 다시 빌드하거나 다시 로드하세요. 앱이 버전이나 커밋을 표시하면 확인하세요.
- 실행이 끝나면 앱을 중지하는 방법.
배포된 환경은 다음 경우에만 사용하세요:
- 기준과 비교: 브랜치의 기본 브랜치 배포와 로컬 빌드를 나란히 비교하는 케이스.
- 로컬 빌드가 보여줄 수 없는 것: 배포 자체에 관한 케이스(예: 빌드된 자산, 캐싱, 배포된 사이트를 래핑하는 네이티브 앱). 이러한 케이스 전에 작업 트리가 깨끗하고 푸시되었으며 배포가 해당 커밋을 제공하는지 확인하고 케이스에 명시하세요.
- 앱을 로컬에서 빌드할 수 없는 경우의 대비책. 계획 상단에 이유를 명시하고, 배포가 제공하는 커밋과 작업 트리에 있지만 배포에는 없는 내용을 명시하세요.
동일한 규칙이 계획에서 사용하는 모든 배포된 환경에도 적용됩니다: 스테이징 배포, 프로덕션 배포는 절대 안 됩니다. 브랜치에 스테이징 및 프로덕션 배포가 모두 있는 경우 계획에는 스테이징 URL만 제공하세요.
테스트할 항목 결정
-
사용자가 다르게 보거나 할 수 있는 것을 나열하세요. diff의 각 변경 사항을 이를 보여주는 화면과 플로우로 추적하세요. 공유 코드의 변경은 이를 사용하는 모든 화면에 영향을 미칩니다. 호출자를 검색하여 모두 나열하세요. 브랜치와 관련 없는 것도 포함합니다.
-
각각에 대해 실행 중인 앱이 필요한지 결정하세요. 코드 테스트로 해결할 수 있는지 물어보세요. 이미 하고 있다면 제외하세요. 쉽게 할 수 있다면(순수 함수, 디코더, 정렬 순서, 상태가 주어진 뷰 함수, 상태 전환) 케이스에서 제외하고 작성할 테스트 목록에 넣으세요. 그러면 해당 검사는 매 변경 시마다 무료로 실행되는 반면, 앱에서의 케이스는 매번 비용이 발생합니다. 코드 테스트가 도달할 수 없거나 신뢰할 수 없는 것만 유지하세요: 실제 백엔드의 실제 데이터가 어떻게 전달되는지, 실제 브라우저에서 렌더링 및 레이아웃되는 방식, 개별적으로 테스트된 부분이 결합될 때의 동작, 실제 요청의 타이밍 및 순서, 실제 탐색 후 앱의 상태, 보조 기술에 제공되는 내용.
-
상태를 찾으세요. 각 화면에 대해 코드에서 가질 수 있는 분기(로드됨, 로딩 중, 비어 있음, 오류, 누락되거나 부분적인 데이터, 0 및 음수 값, 매우 긴 값, 하나의 항목 및 많은 항목, 표시를 변경하는 각 설정 또는 모드, 각 계정 또는 사용자 유형)를 읽으세요. diff가 건드리는 상태만 유지하세요.
-
각 상태에 도달하는 방법을 알아내세요. 탐색 경로를 지정하고, 필요한 데이터를 형태로 설명하세요("구매 비용이 없는 두 계정에 보유된 악기"), 존재를 확인하지 않은 계정으로 설명하지 마세요. 실제 데이터로 도달하기 어려운 상태는 어떻게 생성할 수 있는지(기능 플래그, 재작성된 응답, 제한된 네트워크, 설정) 설명하거나 특정 테스트 계정이 필요하다고 표시하세요.
케이스가 재작성된 응답에 의존하는 경우 계획은 재작성을 반복 가능하게 만들어야 합니다.
reference/mocks.md에 방법이 설명되어 있습니다.각 케이스에 계정 데이터의 운에 의존하지 않는 방법을 제공하세요. 실제 데이터에 상태가 없을 수 있는 경우 앱에서 이를 켜는 제어 장치(설정, 토글, 다른 계정)를 지정하거나...
[번역을 위해 잘림]