Clasificación SEV
La gravedad es una decisión de notificación, no un medidor de emociones. Asigna el SEV más alto que justifique cualquier señal individual, luego reduce solo con evidencia.
Definiciones de Gravedad
- SEV1 – Impacto en ingresos o pérdida total del servicio. Más del 5% de los usuarios no pueden completar un flujo crítico. Posible pérdida de datos o violación de seguridad. Notifica inmediatamente al IC (comandante de incidentes), líder de ingeniería y ejecutivo de guardia.
- SEV2 – Degradación significativa. Función principal rota para un subconjunto, tasa de error elevada por encima del umbral de incumplimiento de SLO, o existe una solución alternativa pero inaceptable a largo plazo. Notifica al IC y al equipo de guardia en un plazo de 5 minutos.
- SEV3 – Degradación parcial o menor. Función no crítica afectada, SLO aún dentro del presupuesto, sin escalaciones de clientes aún. Se crea un ticket, se notifica al equipo de forma asíncrona, solución antes del siguiente día hábil.
- SEV4 – Cosmético o caso borde. Sin impacto para el usuario, detectado de forma proactiva. Solo ticket.
Lista de Verificación de Señales
Responde estas preguntas para determinar un SEV. El primer 'sí' que coincida gana.
- ¿Está roto un flujo de pago, autenticación o integridad de datos para algún usuario? -> Candidato a SEV1.
- ¿La tasa de error supera el umbral de SLO en los últimos 10 minutos? -> Mínimo SEV2.
- ¿Están afectadas múltiples regiones o zonas de disponibilidad? -> Escalar un nivel.
- ¿Existe riesgo activo de exfiltración o corrupción de datos? -> SEV1 independientemente del número de usuarios.
- ¿Un único endpoint no crítico es lento pero el resto funciona bien? -> SEV3.
Multiplicadores de Alcance
- Radio de explosión: estima el porcentaje de usuarios afectados. Por debajo del 1% rara vez justifica SEV1 a menos que ese 1% sean clientes de pago o el riesgo de datos sea grave.
- Tasa de crecimiento: ¿el impacto se está extendiendo? Un SEV3 que se duplica cada 10 minutos es un SEV2.
- Retraso en la detección: si el problema comenzó hace más de 30 minutos sin ser detectado, asume que el radio de explosión es mayor de lo que muestran las señales actuales.
A Quién Notificar
- SEV1: IC (comandante de incidentes), propietario del servicio, SRE de guardia y líder de ingeniería. Abre una sala de guerra de inmediato.
- SEV2: IC y propietario del servicio de guardia. Invita a otros según sea necesario.
- SEV3: Equipo de servicio de guardia de forma asíncrona. Sin sala de guerra.
- SEV4: Ticket, sin notificación.
Ejemplo Práctico: Cómo Tomar la Decisión
Malo: "El pago parece estar roto para algunos usuarios. Se siente como un SEV3 – investigaré la causa primero y notificaré a alguien si resulta grave."
Bueno: "Tasa de error en el pago del 12% en los últimos 15 minutos (umbral SLO: 1%). Flujo de pago roto -> señal 1 -> SEV1. Notifiqué al IC, propietario del servicio y SRE de guardia a las 14:32; sala de guerra abierta. Estimación del radio de explosión: ~12% de los intentos de pago, crecimiento poco claro. Causa desconocida – irrelevante para el SEV. Reclasificación a las 15:00."
La versión mala invierte el orden (causa antes que gravedad), duda sobre un flujo de pago roto y retrasa la notificación. La versión buena cita la señal que estableció el nivel, notifica de inmediato, registra el radio de explosión y programa la reclasificación – todo antes de que alguien sepa por qué se rompió.
Resultado Esperado
Produce un registro de clasificación – publicado en el canal de incidentes o en el ticket – que contenga: el SEV asignado, una justificación de una línea que nombre la señal de la lista de verificación que lo estableció, la estimación del radio de explosión (porcentaje de usuarios o solicitudes), quién fue notificado y cuándo, y la hora programada de reclasificación. El registro permite que el siguiente respondedor confíe en el nivel en lugar de tener que deducirlo de nuevo.
Estándar de Calidad
- El SEV se asignó a partir de señales de impacto antes de iniciar cualquier investigación de causa raíz.
- La justificación nombra una señal específica de la lista de verificación, no una corazonada.
- La notificación ocurrió en el momento de la asignación, no después de la confirmación – un posible SEV1 notifica con un solo dato.
- Se establece un tiempo de reclasificación (cada 30 minutos) y el nivel se mueve con la evidencia, tanto hacia arriba como hacia abajo.
Hacer / No Hacer
- Hacer: asignar SEV antes de investigar la causa raíz. La gravedad se trata del impacto actual, no de la causa.
- Hacer: reclasificar cada 30 minutos. Un SEV2 resuelto es un SEV4; un SEV3 que se expande es un SEV1.
- No hacer: subestimar el SEV para evitar despertar a personas. Los falsos SEV1 son más baratos que los SEV1 perdidos.
- No hacer: esperar un segundo dato antes de notificar en un posible SEV1.