REA CI 및 테스트 감사
실제 회귀(regression)를 여전히 포착하는 검사와 보호 기능을 잃지 않고 제거할 수 있는 비용을 확인합니다. 결과는 검증된 수정, 증거 기반 권장 사항, 또는 중단에 대한 명시적 결정이 될 수 있습니다.
체크아웃의 AGENTS.md, 테스팅 가이드, 및 기여 규칙을 따르세요. 이전 감사에서 기억한 명령어가 아닌 현재 명령어와 고정된 도구 체인을 사용하세요. 요청된 범위를 유지하세요: 조사만으로는 편집을 승인하지 않습니다. 이 스킬은 이슈 발행, 푸시, 병합 권한을 부여하지 않습니다. 기존 사용자 권한은 여전히 적용됩니다. 감사 노트와 원시 결과는 추적된 트리 외부, 일반적으로 작업별 /tmp 디렉토리에 보관하세요.
실행 기준선 설정
사용자가 최신 main을 요청할 때 가져옵니다. 기준선 SHA와 검사된 워크플로 리비전을 고정합니다. 코드를 변경하거나 비교할 때는 격리된 작업 트리를 사용하세요. 다른 작업의 체크아웃을 수정하지 마세요. 더티 변경 사항과 정확한 명령어, 도구 체인, 호스트, 선택된 테스트, 계측, 필수 조건을 기록하세요. 오래된 실행은 main이 발전하더라도 실행된 리비전에 대한 증거입니다.
워크플로 트리거, 변경된 경로 선택, 작업 종속성, 재사용 가능한 액션, 패키지 스크립트, 테스트 발견, 아티팩트 생성자, 보고서 게이트를 실제 실행되는 명령어까지 추적하세요. 스크립트, 생성된 데이터, 런타임 등록, 임포트 그래프에서 누락된 하위 프로세스 경계를 포함하세요. 긍정 및 부정 선택 경로를 확인하세요: 필수 파일은 의도된 테스트 구성당 한 번 발견되어야 합니다. 의도적인 플랫폼/구성 반복은 별도의 커버리지입니다. 누락된 명시적 테스트 또는 누락된 필수 보고서가 녹색으로 통과되어서는 안 됩니다. 선택적 레인은 건너뛸 수 있으며, 명시된 필수 조건을 유지하세요.
기존 타이밍 및 실패 아티팩트를 사용하여 의심스러운 패밀리를 선택하세요. 기준선을 설정하기 위해 관련 검사를 실행하세요. 광범위한 CI 진단 또는 초점을 맞춘 검사로 해결할 수 없는 불확실성을 위해 전체 로컬 스위트를 예약하세요. 모든 문서 편집 후에 변경되지 않은 전체 스위트를 다시 빌드하거나 재실행하지 마세요.
실패 또는 보호 증명
각 후보에 대해 예상되는 관찰 가능한 동작과 그 소유자를 명시한 다음, 프로덕션 동작에 대해 가장 작은 재현을 구성하세요. 수정 위치를 결정하기 전에 생산자와 영향을 받는 소비자를 따르세요.
- 드리프트의 경우, 현재 승인 요구 사항, 프로토콜 응답, 명명된 계약, 도구 버전, 실제 공개 진입점과 fixture를 비교하세요. 그럴듯해 보이는 모의 객체(mock)는 해당 테스트가 커버한다고 주장하는 동작 전에 실패할 수 있습니다. 영향을 받는 전체 fixture 패밀리(다른 버전 문자열 포함)를 검색하세요. 의도적으로 변형된 fixture를 보존하고 의도된 거부를 테스트하세요.
- 의심스러운 녹색 테스트의 경우, 격리된 복사본에서 관련 동작을 교란하거나 제어된 실패를 주입하세요. 기존 어설션 또는 게이트가 이를 감지하는지 확인하세요. 테스트는 단순히 모의 객체를 반복하거나, 버려진 코드를 임포트하거나, 하위 프로세스/검사기 실패를 숨길 수 있습니다. 실험 후에는 변형(mutation)을 복원하세요.
- 공유 설정 또는 가지치기의 경우, 고유한 어설션을 유지된 시나리오에 매핑하세요. 변형된 입력, 취소, 정리 실패, 권한, 용량, ID, 의미 있는 동시성 상호작용을 보존하세요. 케이스를 건너뛰거나 오라클을 약화시키는 더 빠른 실행은 개선이 아닙니다.
- 제공자 커버리지의 경우, 가짜 생산자, 경계, 실제 엔진 증거를 분리하세요. 명명된 스킵 및 필수 조건을 검사하세요. fixture는 실제 Ghidra, LLDB, 브라우저 또는 기타 제공자 동작을 확립하지 않습니다.
발견 사항을 재현된 결함, 지원된 비용, 가설, 또는 사용 불가능한 증거로 분류하세요. 기준선 명령어, 관찰된 출력/종료 상태, 예상 결과, 영향 범위, 경쟁 설명을 기록하세요. main의 실패는 기존에 존재할 수 있습니다. 그 자체로 CI 감사에 관련이 없음을 의미하지는 않습니다. 실행된 리비전과 깨끗한 기준선을 사용하여 PR 실패를 속성화하고, 이전 실패와의 유사성만으로 판단하지 마세요. 특정 일시적 설명을 테스트하기 위해서만 재시도하세요. 원래 실패를 보존하고 반복이 증거를 추가하지 않으면 중단하세요. 통과하는 재시도는 근본 원인이나 수정을 확립하지 않습니다.
게이트를 잃지 않고 효율성 평가
느림, 캐싱, 러너 대기, 공유 아티팩트, 로그 노이즈를 조사할 때 측정 및 CI 검사를 읽으세요. 속도 향상을 주장하기 전에 동등한 완료된 작업을 비교하세요. 설정/빌드 시간, 테스트 실행, 커버리지 계측, 종속성 대기, 러너 스케줄링을 구분하세요. 측정되지 않은 비용을 명시하세요.
커버리지 정확성을 축소하기 전에 입증된 중복 준비를 제거하고, 불변 설정을 재사용하며, 반복되는 하위 프로세스 작업을 줄이는 것을 선호하세요. 수명 주기 또는 동시성이 오라클인 독립 세션을 보존하세요. 라이브 테스트를 신선하게 유지하세요. 캐시된 이전 통과는 현재 호스트, 설치된 제공자 내용, 권한, 외부 상태를 검증할 수 없습니다.
수정, 검증, 범위 내에서 인계
구현이 승인된 경우, 소유 경계에서 가장 작은 구조적 변경을 하고, 올바른 이유로 기준선에서 실패하는 회귀를 추가하세요. 영향을 받는 소비자와 의미 있는 부정 경로를 재테스트하세요. 해당 메커니즘이 변경될 때 캐시 무효화 또는 발견을 확인하세요. Turbo 구성을 변경하기 전에 설치된 Turbo 문서를 읽으세요.
승인된 병합 전에 리포지토리의 적용 가능한 검사를 실행하고 완전한 현재 HEAD CI 결과를 검사하세요. 필수 커버리지 및 발견 게이트를 보존하세요. 단순히 CI를 녹색으로 만들기 위해 실패를 억제하거나, 블랭킷 재시도를 추가하거나, 타임아웃을 높이거나, 고유한 어설션을 삭제하지 마세요. 이러한 제어에 대한 변경 사항은 자체 입증된 이유와 유지된 실패 감지가 필요합니다.
각 확인된 문제를 정확한 리비전, 재현, 결과, 제안된 수정, 검증 한계와 함께 보고하세요. 성능은 백분율만이 아닌 워크로드 및 측정값과 함께 보고하세요. 요청 시 영어 이슈/PR 레코드를 사용하세요. 사용자의 할당, 커밋 ID, 리뷰, 병합 선호도를 따르되, 다른 사용자에 대해 가정하지 마세요. 해당 라이프사이클이 승인된 경우에만 리뷰 준비가 완료된 PR을 여세요. 필요한 리뷰 결과를 해결하고, 병합 후 테스트된 트리에 대해 최종 main을 확인하세요.
승인된 작업이 검증되었거나, 남은 이점이 입증되지 않았거나, 추가 변경이 정확성을 추측적 속도와 맞바꿀 때 중단하세요. 진정한 불확실성을 추가 최적화 라운드로 전환하지 않고 나열하세요.