SEV 트리아지은(는) 무엇을 하나요?
심각도는 페이지를 보낼지 결정하는 기준이지, 감정을 측정하는 도구가 아닙니다. 단일 신호라도 가장 높은 SEV를 할당하고, 증거가 있을 때만 낮추십시오.
심각도 정의
- SEV1 - 수익에 영향을 미치거나 서비스 전체가 중단됨. 사용자의 5% 이상이 중요 흐름을 완료할 수 없음. 데이터 손실 또는 유출 가능성 있음. IC(인시던트 커맨더), 엔지니어링 리드, 임원 온콜에게 즉시 페이지.
- SEV2 - 상당한 성능 저하. 핵심 기능이 일부 사용자에게 손상됨, SLO 위반 임계값 이상의 오류율 증가, 또는 해결 방법이 존재하지만 장기적으로 용납할 수 없음. IC 및 팀 온콜에게 5분 이내에 페이지.
- SEV3 - 부분적 또는 경미한 성능 저하. 중요하지 않은 기능에 영향, SLO는 여전히 예산 내, 고객 에스컬레이션 없음. 티켓 생성, 비동기 팀 알림, 다음 영업일까지 수정.
- SEV4 - 미관상 또는 극단적 사례. 사용자 영향 없음, 사전 예방적 발견. 티켓만 생성.
신호 체크리스트
다음 질문에 답하여 SEV를 결정하십시오. 먼저 '예'가 나오는 항목이 우선합니다.
- 결제, 인증 또는 데이터 무결성 흐름이 어떤 사용자에게라도 중단되었습니까? -> SEV1 후보.
- 지난 10분 동안 오류율이 SLO 임계값을 초과했습니까? -> 최소 SEV2.
- 여러 리전 또는 가용 영역이 영향을 받았습니까? -> 한 단계 상향 조정.
- 활성 데이터 유출 또는 손상 위험이 있습니까? -> 사용자 수와 관계없이 SEV1.
- 단일 중요하지 않은 엔드포인트가 느리지만 나머지는 정상입니까? -> SEV3.
범위 승수
- 폭발 반경: 영향을 받은 사용자 비율을 추정하십시오. 1% 미만은 SEV1이 거의 정당화되지 않습니다. 단, 그 1%가 유료 고객이거나 데이터 위험이 심각한 경우는 예외입니다.
- 증가율: 영향이 확산되고 있습니까? 10분마다 두 배로 증가하는 SEV3는 SEV2입니다.
- 탐지 지연: 문제가 30분 이상 전에 시작되었지만 탐지되지 않은 경우, 현재 신호가 보여주는 것보다 폭발 반경이 더 크다고 가정하십시오.
누구에게 페이지를 보낼까
- SEV1: IC(인시던트 커맨더), 서비스 소유자, 온콜 SRE, 엔지니어링 리드. 즉시 워룸을 개설하십시오.
- SEV2: IC 및 서비스 소유자 온콜. 필요에 따라 다른 사람을 초대하십시오.
- SEV3: 서비스 팀 온콜에게 비동기 알림. 워룸 없음.
- SEV4: 티켓, 페이지 없음.
실제 예시: 판단하기
나쁜 예: "일부 사용자에게 결제가 작동하지 않는 것 같습니다. SEV3 정도인 것 같아요 - 먼저 원인을 파악하고 심각하다면 누군가에게 페이지를 보내겠습니다."
좋은 예: "지난 15분 동안 결제 오류율 12% (SLO 임계값: 1%). 결제 흐름 중단 -> 신호 1 -> SEV1. 14:32에 IC, 서비스 소유자, 온콜 SRE에게 페이지 전송; 워룸 개설. 폭발 반경 추정: 결제 시도의 약 12%, 증가 여부 불명. 원인 불명 - SEV와 무관. 15:00에 재분류 예정."
나쁜 예는 순서를 반대로 하여 (원인을 심각도보다 먼저), 중단된 결제 흐름에 대해 망설이고, 페이지 전송을 지연시킵니다. 좋은 예는 수준을 설정한 신호를 인용하고, 즉시 페이지를 보내며, 폭발 반경을 기록하고, 재분류 일정을 잡습니다 - 모두 문제가 왜 발생했는지 알기 전에 이루어집니다.
결과물
인시던트 채널이나 티켓에 게시할 트리아지 기록을 생성하십시오. 기록에는 다음이 포함되어야 합니다: 할당된 SEV, 이를 설정한 체크리스트 신호를 명시하는 한 줄의 근거, 폭발 반경 추정치 (사용자 또는 요청 비율), 누가 언제 페이지를 받았는지, 예정된 재분류 시간. 이 기록을 통해 다음 대응자는 수준을 다시 유도하지 않고 신뢰할 수 있습니다.
품질 기준
- SEV는 근본 원인 조사가 시작되기 전에 영향 신호로부터 할당되었습니다.
- 근거는 직감이 아닌 특정 체크리스트 신호를 명명합니다.
- 페이지는 할당 시점에 전송되었으며, 확인 후가 아닙니다 - 잠재적 SEV1은 단일 데이터 포인트로 페이지를 보냅니다.
- 재분류 시간이 설정되고 (30분마다) 수준이 증거에 따라 위아래로 이동합니다.
지침: 해야 할 것 / 하지 말아야 할 것
- 해야 할 것: 근본 원인을 조사하기 전에 SEV를 할당하십시오. 심각도는 원인이 아닌 현재 영향에 관한 것입니다.
- 해야 할 것: 30분마다 재분류하십시오. 해결된 SEV2는 SEV4가 되고, 확산되는 SEV3는 SEV1이 됩니다.
- 하지 말아야 할 것: 사람을 깨우지 않기 위해 SEV를 낮게 할당하지 마십시오. 잘못된 SEV1은 놓친 SEV1보다 비용이 적습니다.
- 하지 말아야 할 것: 잠재적 SEV1에 대해 두 번째 데이터 포인트를 기다리기 전에 페이지를 보내지 마십시오.