Was macht SEV-Triage?
Schweregrad ist eine Entscheidung zum Paging, kein Gradmesser für Gefühle. Weise den höchsten SEV zu, den ein einzelnes Signal rechtfertigt, und stuft nur mit Belegen zurück.
Schweregraddefinitionen
- SEV1 – Umsatzbeeinträchtigend oder vollständiger Serviceausfall. Mehr als 5 % der Nutzer können einen kritischen Fluss nicht abschließen. Datenverlust oder -verletzung möglich. Page sofort IC, Engineering Lead und Exec-On-Call.
- SEV2 – Signifikante Beeinträchtigung. Kernfunktion für eine Teilmenge defekt, erhöhte Fehlerrate über SLO-Schwellwert, oder es existiert eine Umgehungslösung, die langfristig inakzeptabel ist. Page IC und Team-On-Call innerhalb von 5 Minuten.
- SEV3 – Teilweise oder geringfügige Beeinträchtigung. Nicht-kritische Funktion betroffen, SLO noch im Budget, noch keine Eskalation durch Kunden. Ticket erstellt, Team asynchron benachrichtigt, Behebung bis zum nächsten Arbeitstag.
- SEV4 – Kosmetisch oder Grenzfall. Keine Nutzerauswirkung, proaktiv erkannt. Nur Ticket.
Signal-Checkliste
Beantworte diese Fragen, um auf einen SEV zu kommen. Das erste ‚Ja‘, das zutrifft, gewinnt.
- Ist ein Zahlungs-, Authentifizierungs- oder Datenintegritätsfluss für einen beliebigen Nutzer unterbrochen? → SEV1-Kandidat.
- Liegt die Fehlerrate in den letzten 10 Minuten über deinem SLO-Schwellwert? → Mindestens SEV2.
- Sind mehrere Regionen oder Verfügbarkeitszonen betroffen? → Um eine Stufe hochstufen.
- Besteht aktives Risiko von Datenschutzverletzung oder -korruption? → SEV1 unabhängig von der Nutzeranzahl.
- Ist ein einzelner nicht-kritischer Endpunkt langsam, aber der Rest gesund? → SEV3.
Umfangsmultiplikatoren
- Blastradius: Schätze den Prozentsatz der betroffenen Nutzer. Unter 1 % rechtfertigt selten SEV1, es sei denn, die 1 % sind zahlende Kunden oder das Datenrisiko ist schwerwiegend.
- Wachstumsrate: Breitet sich die Auswirkung aus? Ein SEV3, der sich alle 10 Minuten verdoppelt, ist ein SEV2.
- Erkennungsverzögerung: Wenn das Problem bereits mehr als 30 Minuten unentdeckt begonnen hat, nimm an, dass der Blastradius größer ist als die derzeitigen Signale zeigen.
Wen zu pagen
- SEV1: IC (Incident Commander), Service Owner, On-Call SRE und Engineering Lead. Sofort einen War Room eröffnen.
- SEV2: IC und Service Owner On-Call. Andere nach Bedarf einladen.
- SEV3: Service-Team On-Call asynchron. Kein War Room.
- SEV4: Ticket, kein Page.
Durchgearbeitetes Beispiel: Die Entscheidung
Schlecht: „Der Checkout scheint für einige Nutzer defekt zu sein. Fühlt sich wie ein SEV3 an – ich untersuche zuerst die Ursache und benachrichtige jemanden, wenn es ernst wird.“
Gut: „Checkout-Fehlerrate bei 12 % in den letzten 15 Minuten (SLO-Schwellwert: 1 %). Zahlungsfluss unterbrochen → Signal 1 → SEV1. IC, Service Owner und On-Call SRE um 14:32 Uhr gepaged; War Room eröffnet. Blastradius-Schätzung: ~12 % der Checkout-Versuche, Wachstum unklar. Ursache unbekannt – irrelevant für den SEV. Erneute Triage um 15:00 Uhr.“
Die schlechte Version dreht die Reihenfolge um (Ursache vor Schweregrad), zögert bei einem defekten Zahlungsfluss und verzögert das Paging. Die gute Version zitiert das Signal, das die Stufe festlegt, paget sofort, erfasst den Blastradius und plant die erneute Triage – alles bevor jemand weiß, warum es kaputtging.
Liefergegenstand
Erstelle einen Triage-Bericht – gepostet im Incident-Kanal oder Ticket – mit: zugewiesenem SEV, einer einzeiligen Begründung mit dem Namen des Checklisten-Signals, das ihn festlegte, der Blastradius-Schätzung (Prozentsatz der Nutzer oder Anfragen), wer wann gepaged wurde, und der geplanten erneuten Triage-Zeit. Der Bericht ermöglicht es dem nächsten Responder, der Stufe zu vertrauen, anstatt sie neu abzuleiten.
Qualitätsbarriere
- Der SEV wurde anhand von Auswirkungssignalen zugewiesen, bevor eine Ursachenuntersuchung begann.
- Die Begründung nennt ein spezifisches Signal aus der Checkliste, kein Bauchgefühl.
- Das Paging erfolgte bei der Zuweisung, nicht nach Bestätigung – ein potenzieller SEV1 wird auf einen einzigen Datenpunkt hin gepaged.
- Eine erneute Triage-Zeit ist festgelegt (alle 30 Minuten), und die Stufe bewegt sich mit den Beweisen nach oben und unten.
Dos and Don'ts
- Do: Weise den SEV zu, bevor du die Ursache untersuchst. Schweregrad betrifft die aktuelle Auswirkung, nicht die Ursache.
- Do: Führe alle 30 Minuten eine erneute Triage durch. Ein gelöster SEV2 ist ein SEV4; ein sich ausbreitender SEV3 ist ein SEV1.
- Don't: Stufe niedriger ein, um Leute nicht zu wecken. Falsche SEV1 sind günstiger als übersehene.
- Don't: Warte auf einen zweiten Datenpunkt, bevor du bei einem potenziellen SEV1 pagest.