SEV 分級判斷 是做什麼的?
嚴重程度是一個通報決策,而不是感覺量表。只要有單一信號證明,就應分配最高等級的 SEV,然後在有證據時才調降。
嚴重程度定義
- SEV1 - 影響營收或完全服務中斷。超過 5% 的使用者無法完成關鍵流程。可能發生資料遺失或外洩。立即通報 IC、工程負責人以及主管值班人員。
- SEV2 - 顯著降級。核心功能對部分使用者中斷,錯誤率高於 SLO 違規門檻,或存在解決方案但長期不可接受。5 分鐘內通報 IC 及團隊值班人員。
- SEV3 - 部分或輕微降級。非關鍵功能受影響,SLO 仍在預算內,尚無客戶升級。建立工單,團隊非同步通知,在下一個工作日之前修復。
- SEV4 - 外觀問題或邊緣案例。無使用者影響,主動發現。僅建立工單。
信號檢查清單
回答以下問題以確定 SEV。第一個符合的條件勝出。
- 任何使用者的付款、驗證或資料完整性流程是否中斷?-> SEV1 候選。
- 過去 10 分鐘的錯誤率是否高於 SLO 門檻?-> 至少 SEV2。
- 是否有多個區域或可用區域受影響?-> 等級提升一級。
- 是否存在活躍的資料外洩或損毀風險?-> 無論使用者數量,直接 SEV1。
- 是否單一非關鍵端點變慢但其他部分健康?-> SEV3。
範圍乘數
- 爆炸半徑:估計受影響使用者的百分比。低於 1% 很少需要 SEV1,除非這 1% 是付費客戶或資料風險嚴重。
- 增長率:影響是否正在擴大?每 10 分鐘翻倍的 SEV3 應視為 SEV2。
- 偵測延遲:如果問題在未被發現的狀態下持續超過 30 分鐘,請假設爆炸半徑比當前信號顯示的更大。
應通報對象
- SEV1:IC(事件指揮官)、服務擁有者、值班 SRE 以及工程負責人。立即開啟戰情室。
- SEV2:IC 和值班服務擁有者。視需要邀請其他人員。
- SEV3:服務團隊非同步值班。不需要戰情室。
- SEV4:工單,不通報。
實際案例:做出判斷
錯誤做法:「結帳流程似乎對某些使用者中斷。感覺像是 SEV3——我會先深入調查原因,如果情況嚴重再通報某人。」
正確做法:「過去 15 分鐘結帳錯誤率為 12%(SLO 門檻:1%)。金流流程中斷 -> 信號 1 -> SEV1。已於 14:32 通報 IC、服務擁有者及值班 SRE;戰情室已開啟。爆炸半徑估計:約 12% 的結帳嘗試,增長情況不明。原因未知——與 SEV 無關。預定於 15:00 重新分級。」
錯誤版本顛倒了順序(原因先於嚴重程度),對中斷的金流流程猶豫不決,並延遲了通報。正確版本引用了設定等級的信號,立即通報,記錄爆炸半徑,並排定重新分級——所有這些都在任何人知道故障原因之前完成。
產出物
產生一份分類記錄——發布到事件頻道或工單——內容包含:分配的 SEV、一句話的理由(引用設定該等級的檢查清單信號)、爆炸半徑估計(使用者或請求的百分比)、被通報的人員及時間,以及排定的重新分級時間。這份記錄能讓後續應變人員信任該等級,而無需重新推導。
品質標準
- 在開始任何根本原因調查之前,就根據影響信號分配了 SEV。
- 理由明確引用特定的檢查清單信號,而非直覺。
- 通報在分配時立即進行,而非確認後——潛在的 SEV1 僅憑一個數據點就通報。
- 設定了重新分級時間(每 30 分鐘),且等級隨證據而變動,無論是升級或降級。
注意事項
- 要:在調查根本原因之前分配 SEV。嚴重程度關乎當下的影響,而非原因。
- 要:每 30 分鐘重新分級。已解決的 SEV2 變成 SEV4;正在擴散的 SEV3 變成 SEV1。
- 不要:為了避免吵醒人而降級 SE。假的 SEV1 比錯過的 SEV1 成本更低。
- 不要:在通報潛在的 SEV1 之前等待第二個數據點。