SEV トリアージ は何をしますか？
重大度はページングの判断であり、感情の指標ではありません。単一のシグナルが正当化する最高のSEVを割り当て、証拠がある場合のみダウングレードします。
重大度の定義
- SEV1 - 収益に影響を与える、またはサービスの完全な喪失。重要なフローを5%超のユーザーが完了できない。データ損失または漏洩の可能性がある。即座にIC、エンジニアリングリーダー、エグゼクティブオンコールにページを送信。
- SEV2 - 重大な劣化。中核機能が一部のユーザーで動作しない、SLO違反しきい値を超えるエラー率の上昇、または回避策が存在するが長期的に許容できない。5分以内にICとチームのオンコールにページを送信。
- SEV3 - 部分的または軽微な劣化。重要でない機能が影響を受け、SLOは予算内、顧客からのエスカレーションなし。チケットを作成し、チームに非同期で通知し、次の営業日までに修正。
- SEV4 - 外観またはエッジケース。ユーザーへの影響なし、プロアクティブに発見。チケットのみ。
シグナルチェックリスト
SEVを決定するために以下の質問に回答します。最初に「はい」となるものが優先されます。
- 支払い、認証、またはデータ整合性フローが任意のユーザーで壊れているか？→ SEV1候補。
- エラー率が過去10分間でSLOしきい値を超えているか？→ 最低でもSEV2。
- 複数のリージョンまたはアベイラビリティゾーンが影響を受けているか？→ 1レベル引き上げ。
- 能動的なデータ流出または破損のリスクがあるか？→ ユーザー数に関わらずSEV1。
- 単一の重要でないエンドポイントが遅いが、他の部分は正常か？→ SEV3。
影響範囲の乗数
- 爆発半径: 影響を受けるユーザーの割合を推定する。1%未満は、その1%が有料顧客であるかデータリスクが深刻でない限り、SEV1になることは稀。
- 成長率: 影響が拡大しているか？10分ごとに倍増するSEV3はSEV2。
- 検出遅延: 問題が30分以上前に発生し未検出の場合、現在のシグナルが示すよりも爆発半径が大きいと想定する。
誰にページを送るか
- SEV1: IC（インシデントコマンダー）、サービスオーナー、オンコールSRE、エンジニアリングリーダー。即座にウォールームを開設。
- SEV2: ICとサービスオーナーオンコール。必要に応じて他のメンバーを招待。
- SEV3: サービスのオンコールチームに非同期で通知。ウォールームなし。
- SEV4: チケットのみ、ページなし。
実践例：判断を行う
悪い例: 「チェックアウトが一部のユーザーで壊れているようです。SEV3のように感じます - まず原因を調べて、深刻だったら誰かにページを送ります。」
良い例: 「チェックアウトのエラー率が過去15分間で12%（SLOしきい値：1%）。支払いフローが壊れている → シグナル1 → SEV1。IC、サービスオーナー、オンコールSREに14:32にページ送信。ウォールーム開設。爆発半径推定：チェックアウト試行の約12%、成長状況は不明。原因は不明 - SEVには無関係。15:00に再トリアージ予定。」
悪い例は順序を逆転し（原因を重大度より先に）、支払いフローの障害を曖昧にし、ページングを遅らせています。良い例はレベルを設定したシグナルを引用し、即座にページを送信し、爆発半径を記録し、再トリアージをスケジュールしています - すべて誰も原因を知る前に行っています。
成果物
インシデントチャンネルまたはチケットに投稿されるトリアージレコードを生成します。これには以下を含みます：割り当てたSEV、設定したチェックリストシグナルを挙げた1行の正当性、爆発半径の推定（ユーザーまたはリクエストの割合）、誰がいつページを受けたか、そしてスケジュールされた再トリアージ時刻。このレコードにより、次の対応者はレベルを再導出するのではなく信頼できます。
品質基準
- SEVは、根本原因調査が始まる前に影響シグナルから割り当てられました。
- 正当性は、直感ではなく特定のチェックリストシグナルを挙げています。
- ページングは割り当て時に行われ、確認後ではありません - 潜在的なSEV1は1つのデータポイントでページを送信します。
- 再トリアージ時刻が設定され（30分ごと）、レベルは証拠に従って上下に移動します。
すべきこと / すべきでないこと
- すべき: 根本原因を調査する前にSEVを割り当てる。重大度は現在の影響に関するものであり、原因ではない。
- すべき: 30分ごとに再トリアージする。解決されたSEV2はSEV4に、拡大するSEV3はSEV1になる可能性がある。
- すべきでない: 人を起こさないために過小評価する。誤ったSEV1は、見逃したSEV1よりコストが低い。
- すべきでない: 潜在的なSEV1に対して2つ目のデータポイントを待ってからページを送る。