Que fait Tri SEV ?
La sévérité est une décision de paging, pas un indicateur de sentiment. Attribuez la SEV la plus élevée que justifie un signal unique, puis ne dégradez qu'avec des preuves.
Définitions des Sévérités
- SEV1 - Impact sur le chiffre d'affaires ou perte totale de service. Plus de 5% des utilisateurs ne peuvent pas terminer un flux critique. Perte de données ou brèche possible. Paginer immédiatement : IC + responsable ingénierie + exécutif de garde.
- SEV2 - Dégradation significative. Fonctionnalité principale cassée pour un sous-ensemble, taux d'erreur élevé au-dessus du seuil de brèche SLO, ou une solution de contournement existe mais est inacceptable à long terme. Paginer IC + équipe de garde dans les 5 minutes.
- SEV3 - Dégradation partielle ou mineure. Fonctionnalité non critique affectée, SLO toujours dans les limites, pas d'escalade client encore. Ticket créé, équipe notifiée de manière asynchrone, correction avant le prochain jour ouvrable.
- SEV4 - Cosmétique ou cas marginal. Aucun impact utilisateur, détection proactive. Ticket uniquement.
Liste de Contrôle des Signaux
Répondez à ces questions pour déterminer une SEV. Le premier « oui » qui correspond l'emporte.
- Un flux de paiement, d'authentification ou d'intégrité des données est-il cassé pour un utilisateur ? -> Candidat SEV1.
- Le taux d'erreur est-il supérieur au seuil SLO pour les 10 dernières minutes ? -> SEV2 au minimum.
- Plusieurs régions ou zones de disponibilité sont-elles affectées ? -> Escaladez d'un niveau.
- Y a-t-il un risque actif d'exfiltration ou de corruption de données ? -> SEV1 quel que soit le nombre d'utilisateurs.
- Un seul point de terminaison non critique est lent mais le reste est sain ? -> SEV3.
Multiplicateurs de Portée
- Rayon d'explosion : estimez le pourcentage d'utilisateurs affectés. En dessous de 1%, rarement SEV1 à moins que le 1% ne soit des clients payants ou que le risque de données ne soit grave.
- Taux de croissance : l'impact s'étend-il ? Une SEV3 qui double toutes les 10 minutes est une SEV2.
- Latence de détection : si le problème a commencé il y a plus de 30 minutes sans être détecté, supposez que le rayon d'explosion est plus grand que ce que montrent les signaux actuels.
Qui Paginer
- SEV1 : IC (incident commander), propriétaire du service, SRE de garde, et responsable ingénierie. Ouvrez une salle de guerre immédiatement.
- SEV2 : IC et propriétaire du service de garde. Invitez les autres si nécessaire.
- SEV3 : Équipe de service de garde de manière asynchrone. Pas de salle de guerre.
- SEV4 : Ticket, pas de page.
Exemple concret : prendre la décision
Mauvais : « Le paiement semble cassé pour certains utilisateurs. On dirait une SEV3 - je vais d'abord creuser la cause et paginer quelqu'un si ça s'avère grave. »
Bon : « Taux d'erreur de paiement à 12% pour les 15 dernières minutes (seuil SLO : 1%). Flux de paiement cassé -> signal 1 -> SEV1. IC, propriétaire du service et SRE de garde paginés à 14h32 ; salle de guerre ouverte. Estimation du rayon d'explosion : ~12% des tentatives de paiement, croissance incertaine. Cause inconnue - sans incidence sur la SEV. Re-tri à 15h00. »
La version mauvaise inverse l'ordre (cause avant sévérité), hésite sur un flux de paiement cassé et retarde le paging. La bonne version cite le signal qui a fixé le niveau, page immédiatement, enregistre le rayon d'explosion et planifie la re-tri - tout cela avant que quiconque sache pourquoi ça a cassé.
Livrable
Produisez un enregistrement de tri - publié dans le canal d'incident ou le ticket - contenant : la SEV assignée, une justification d'une ligne nommant le signal de la liste de contrôle qui l'a fixée, l'estimation du rayon d'explosion (pourcentage d'utilisateurs ou de requêtes), qui a été paginé et quand, et l'heure de re-tri planifiée. L'enregistrement permet au prochain intervenant de faire confiance au niveau au lieu de le redériver.
Barre de Qualité
- La SEV a été assignée à partir de signaux d'impact avant toute investigation de cause racine.
- La justification nomme un signal spécifique de la liste de contrôle, pas une impression viscérale.
- Le paging a eu lieu au moment de l'assignation, pas après confirmation - une potentielle SEV1 page sur un seul point de données.
- Une heure de re-tri est fixée (toutes les 30 minutes) et le niveau évolue avec les preuves, à la fois vers le haut et vers le bas.
À Faire / À Ne Pas Faire
- À faire : assignez la SEV avant d'enquêter sur la cause racine. La sévérité concerne l'impact maintenant, pas la cause.
- À faire : re-triez toutes les 30 minutes. Une SEV2 résolue est une SEV4 ; une SEV3 qui se propage est une SEV1.
- À ne pas faire : sous-estimer la SEV pour éviter de réveiller les gens. Les fausses SEV1 coûtent moins cher que les vraies manquées.
- À ne pas faire : attendre un deuxième point de données avant de paginer sur une potentielle SEV1.