relsa-severity-assessment

Evaluación de severidad RELSA y pronóstico de punto final humanitario

Resumen

La evaluación de severidad en la investigación con animales es legalmente obligatoria y científicamente fundamental: impulsa las decisiones de puntos finales humanitarios, y una monitorización deficiente del bienestar degrada la reproducibilidad. La práctica habitual evalúa cada indicador de forma aislada —pérdida de peso aquí, una puntuación clínica allá— lo que dificulta saber qué tan mal está realmente un animal individual.

Esta skill implementa dos procedimientos publicados que abordan este problema:

• RELSA (Talbot et al., 2022) combina varias medidas de resultado en una sola puntuación por animal por punto temporal, expresada en relación con un conjunto de referencia de carga conocida. RELSA = 0 es el valor basal; RELSA = 1 significa que el animal ha alcanzado la desviación máxima del conjunto de referencia.
• foRcast (Lutscher et al., 2026) ajusta un modelo ARIMA a la trayectoria RELSA de un animal individual y pronostica la siguiente puntuación con un intervalo de predicción del 95%, de modo que los animales que se dirigen a un punto final humanitario puedan identificarse antes de llegar a él. La estimación de densidad por kernel (KDE) en la escala RELSA proporciona zonas candidatas de atención y peligro para la interpretación.

El objetivo es el refinamiento: prestar atención antes a los animales en riesgo y evitar sacrificar animales que se habrían recuperado. Ambos procedimientos son ayudas a la evaluación de severidad, no reglas de decisión; consulte Límites.

Cuándo usar esta skill

• Combinar pérdida de peso, temperatura, puntuación clínica, biomarcadores o telemetría en una única puntuación de severidad por animal
• Preguntar qué animales de una cohorte están en riesgo de alcanzar un punto final humanitario, o predecir la puntuación de severidad en un próximo punto temporal
• Comparar la severidad entre grupos de tratamiento, intervenciones o modelos animales en una escala relativa común
• Definir umbrales o zonas en una escala de severidad a partir de los datos
• Redactar la sección de evaluación de severidad de un informe de bienestar animal, un análisis de refinamiento/3Rs o una solicitud según la Directiva 2010/63/UE de la UE

Para pronósticos generales de una serie temporal que no sea una puntuación de severidad, use timesfm-forecasting o statsmodels. Para diseño de estudios y tamaño de muestra, use experimental-design y statistical-power.

Instalación

uv pip install "numpy>=1.26" "pandas>=2.0" "scipy>=1.11" "statsmodels>=0.14" matplotlib

relsa_score.py y kde_thresholds.py solo necesitan numpy/pandas/scipy; statsmodels es necesario para el pronóstico y matplotlib solo para figuras.

Formato de datos

Una fila por animal por punto temporal, en un CSV:

id	treatment	condition	day	temp	weight	score	il6
M01	treated	endpoint	-1	37.15	25.17	0	35.1
M01	treated	endpoint	0	37.26	25.25	0	39.5
M01	treated	endpoint	1	35.83	23.12	4	162.0

• id y una columna de tiempo (day, time, hour, …) son obligatorios; treatment y condition son etiquetas opcionales utilizadas para agrupar y seleccionar el conjunto de referencia.
• El tiempo puede ser días, horas o minutos — solo manténgalo monótono por animal. La convención de RELSA codifica el punto temporal basal como -1.
• Una fila por animal por punto temporal. Promedie primero la telemetría horaria a un valor por intervalo (los modelos publicados promedian frecuencia cardíaca, HRV y temperatura, y suman actividad).
• Deje las mediciones faltantes vacías. Se eliminan de la puntuación, nunca se imputan — un valor faltante tratado como "sin desviación" sesga la severidad a la baja.

assets/example_cohort.csv es una cohorte sintética pequeña (6 ratones, 9 días, temperatura, peso corporal, una puntuación clínica de 0 a 8 y un biomarcador similar a IL-6) utilizada por todos los comandos siguientes, por lo que cada uno se puede ejecutar tal como está escrito.

Las cuatro decisiones que determinan el resultado

Tómelas explícitamente y escríbalas en los métodos. Nada más del procedimiento importa tanto.

1. Direccionalidad: ¿qué variables aumentan al empeorar? La disminución es el valor predeterminado (peso corporal, actividad, ingesta de alimentos, excavación, carrera en rueda). Las variables que aumentan deben declararse como --turned: puntuaciones clínicas, biomarcadores inflamatorios, fiebre, taquicardia. Si se equivoca, la variable no contribuye en nada, en silencio, porque las desviaciones en la dirección "incorrecta" se limitan a cero. La temperatura corporal depende del modelo: disminuye en sepsis y endotoxemia, aumenta en modelos de fiebre. Nada en los datos puede resolver esto por usted: en el modelo de sepsis publicado, la actividad legítimamente oscila más por encima del valor basal que por debajo, por lo que solo una variable que nunca una vez se mueva en la dirección declarada es detectable, y build_reference() advierte exactamente sobre ese caso.

2. El conjunto de referencia: ¿relativo a qué? Las puntuaciones RELSA no significan nada sin él. Use el grupo que se supone que tiene la mayor carga en su modelo (los estudios publicados usan el grupo de dosis más alta o el grupo de tratamiento que alcanza el punto final). Un conjunto de referencia demasiado bajo empuja cada puntuación por encima de 1; uno demasiado severo comprime todo hacia 0. Guárdelo con --save-reference y reutilícelo con --load-reference para que las cohortes posteriores permanezcan en la misma escala.

3. Puntuaciones con una línea base cero. Una puntuación clínica de 0 en un animal sano no se puede normalizar por razón — 0/0 no está definido. Use --score-scale score=8 para mapear la escala de la puntuación en su lugar (sano → 100%, peor posible → 200%), lo que también la marca como invertida. Este mapeo es una elección de modelado sobre cuánto vale un punto de puntuación en relación con el uno por ciento del peso corporal; indíquelo. La alternativa es mantener la puntuación fuera de RELSA y usarla como un criterio de punto final independiente.

4. Qué variables se miden a lo largo del tiempo. Debido a que la puntuación promedia las variables que están disponibles, una variable que aparece o desaparece a mitad de la trayectoria mueve la puntuación por sí sola. En los datos de sepsis publicados, agregar el peso corporal (registrado solo el día de la eutanasia) reduce la puntuación final de ese animal de 0.93 a 0.83 sin razón biológica alguna. relsa_scores() advierte cuando cambia la composición; puntúe las variables presentes en todo momento.

Flujo de trabajo

Paso 1: calcular las puntuaciones RELSA

python scripts/relsa_score.py assets/example_cohort.csv \
    --variables weight,temp,score,il6 \
    --normalize weight,temp,il6 \
    --turned il6 \
    --score-scale score=8 \
    --baseline-time -1 \
    --reference-group condition=endpoint \
    --save-reference reference.json \
    --out relsa_scores.csv

El modelo de referencia se muestra para que la escala sea auditable:

modelo de referencia: assets/example_cohort.csv [condition=endpoint]
  animales=2  filas=18  tiempo_basal=-1.0
  variable      invertida   max alcanzado   delta max
  weight            no           82.40       17.60
  temp              no           92.79        7.21
  score            sí           187.50       87.50
  il6              sí           797.72      697.72

relsa_scores.csv contiene el peso de cada variable junto con la puntuación, que es lo que hace que una puntuación sea explicable: aquí M01 se deteriora hasta su punto final, M03 alcanza su punto máximo el día 3 y se recupera:

 id  time  weight  temp  score  il6  n_vars  relsa
M01     1    0.46  0.49   0.57 0.52       4   0.51
M01     3    0.84  0.76   1.00 0.89       4   0.88
M01     5    1.00  1.00   1.00 1.00       4   1.00
M03     3    0.56  0.44   0.57 0.54       4   0.53
M03     5    0.35  0.26   0.43 0.32       4   0.35
M03     7    0.12  0.06   0.14 0.11       4   0.11

Un peso de 1.00 significa que esa variable alcanzó el máximo de referencia; n_vars es cuántas variables entraron en la puntuación en ese punto temporal.

Lo mismo desde Python, cuando necesita los objetos:

import sys; sys.path.insert(0, "scripts")
from _common import read_relsa_table, score_to_percent
from relsa_score import prepare, build_reference, relsa_scores

frame = read_relsa_table("assets/example_cohort.csv")
frame["score"] = score_to_percent(frame["score"], max_score=8)   # puntuación clínica 0-8
VARS, TURNED = ["weight", "temp", "score", "il6"], ["score", "il6"]

prepared  = prepare(frame, normalize=["weight", "temp", "il6"], baseline_time=-1)
reference = build_reference(prepared[prepared.condition == "endpoint"],
                           variables=VARS, turned=TURNED, baseline_time=-1,
                           label="animales que alcanzan punto final")
scores    = relsa_scores(prepared, reference)

Paso 2: pronosticar el punto final

Entrene con todo hasta el punto temporal anterior al punto final, prediga la puntuación en el punto final y evalúe la predicción:

python scripts/forecast_relsa.py relsa_scores.csv \
    --animals M01,M02 --endpoints M01=5 --endpoints M02=6 \
    --group-col condition --plot-dir figs --endpoint-line 1.0

 id  time  predicted    lower    upper        model  actual
M01   5.0   0.932585 0.670443 1.194728 ARIMA(1,1,0)    1.00
M02   6.0   0.955696 0.748309 1.163084 ARIMA(1,1,0)    0.94

   group             id        model  n   rmse  picp  mpiw
endpoint            M01 ARIMA(1,1,0)  1 0.0674 100.0 0.524
endpoint            M02 ARIMA(1,1,0)  1 0.0157 100.0 0.415
endpoint -- endpoint --               2 0.0489 100.0 0.470
                GENERAL               2 0.0489 100.0 0.470

Informe las tres métricas juntas. RMSE es la precisión puntual, PICP el porcentaje de valores reales dentro del intervalo, y MPIW el ancho medio del intervalo en unidades RELSA: un modelo puede alcanzar PICP = 100% haciendo el intervalo tan amplio que no dice nada, que es exactamente lo que muestra la fila de cáncer de páncreas del artículo (PICP 100%, MPIW 7.35, es decir, 735% del rango RELSA).

Para monitoreo en vivo, pronostique un paso adelante en cada punto temporal en su lugar:

python scripts/forecast_relsa.py relsa_scores.csv --mode rolling --animals M03

Dos cosas que saber antes de confiar en un pronóstico:

• La interpolación está activada por defecto (--interpolate-step 0.1), porque una medición por día es demasiado escasa para ARIMA. Permite una selección de modelo utilizable e intervalos más estrechos a costa de una incertidumbre honesta. Establezca --interpolate-step 0 cuando la frecuencia de medición lo permita.
• ARIMA no puede predecir un precipicio. Asume estacionariedad y linealidad, por lo que un colapso abrupto en las últimas horas antes de un punto final no se pronosticará a partir de una trayectoria anterior suave: el propio caso de fallo del artículo. Actúe sobre el límite superior del intervalo y nunca permita que un pronóstico bajo anule a un animal que parece enfermo.

Paso 3: poner la puntuación en contexto con zonas de severidad

python scripts/kde_thresholds.py relsa_scores.csv \
    --group treatment=treated --n-thresholds 2 --plot zones.png --json zones.json

KDE en 33 puntuaciones RELSA  (ancho de banda = 0.1502)
  umbrales candidatos (mínimos de densidad): 0.703
  modas de densidad: 0.264, 0.866
  normal    [0.000, 0.703)  n=25 (75.8%)
  peligro    >= 0.703  n=8 (24.2%)

Los umbrales son los mínimos de la densidad de puntuación: los valles dispersos entre grupos de puntuaciones. Incluya animales con punto final, supervivientes y controles simulados: las zonas están destinadas a separar esos estados, por lo que todos deben estar representados.

Verifique el ancho de banda antes de creer en un umbral. En los datos de sepsis publicados, esta implementación encuentra mínimos en 0.355 y 0.655 (publicado: 0.337 y 0.643), pero un ancho de banda un 10% mayor elimina ambos mínimos por completo. Ejecute el barrido en references/thresholds-and-zones.md e informe el barrido, no un par de números aislados. Una lista de umbrales vacía es una respuesta legítima: las puntuaciones forman un grupo y no hay un lugar basado en datos para cortar.

Límites: indíquelos al informar

• RELSA es una ayuda para la evaluación de severidad, no un parámetro decisivo. Un animal con una puntuación RELSA baja que muestra otros signos de angustia debe manejarse en consecuencia. Ninguno de los procedimientos es un predictor validado de muerte.
• Las zonas KDE no son clasificaciones de severidad regulatorias. Las categorías de la Directiva 2010/63/UE de la UE (sin recuperación, leve, moderada, severa) se asignan de forma prospectiva mediante un proceso diferente. El artículo es explícito en que sus umbrales "no deben confundirse con las clasificaciones de severidad regulatorias" y no son directamente traducibles a ellas.
• Las puntuaciones no son comparables entre conjuntos de referencia o modelos. RELSA es relativa por construcción, y la puntuación clínica no está armonizada entre laboratorios. Informe siempre el conjunto de referencia junto con la puntuación.
• La evidencia publicada es una prueba de concepto: 13 animales en siete modelos, cinco de esas filas basadas en uno o dos animales. El RMSE general de 0.069 y el PICP del 96% provienen de 13 predicciones de punto final.
• Una puntuación subestimada es el error peligroso, porque desalienta la atención y puede retrasar una decisión de eutanasia, mientras que una sobreestimación simplemente provoca cuidados adicionales.

Lista de verificación para informes

Un análisis de severidad es reproducible solo si se indica todo lo siguiente:

1. Medidas de resultado, sus unidades y su direccionalidad (cuáles se invirtieron y por qué).
2. El punto o ventana basal, y qué variables se normalizaron.
3. Cualquier mapeo de puntuación aplicado a variables ordinales, con su escala.
4. El conjunto de referencia: qué animales, qué grupo, cuántos y por qué se supone que tienen la mayor carga.
5. Criterios de punto final humanitario realmente aplicados en el estudio, separados de la puntuación RELSA.
6. Para pronósticos: paso de interpolación, el orden ARIMA seleccionado por animal y RMSE, PICP y MPIW.
7. Para umbrales: el ancho de banda, el número de puntuaciones y un barrido de sensibilidad del ancho de banda.
8. Versiones de software y la declaración de que los umbrales son específicos del modelo y no son clasificaciones regulatorias.

Errores comunes

1. Direccionalidad incorrecta: una variable que aumenta y no está listada en --turned contribuye exactamente cero, en silencio, y no es posible ninguna advertencia a menos que nunca caiga. Verifique la tabla del modelo de referencia usted mismo: max alcanzado debe estar por debajo de 100 para una variable que disminuye y por encima de 100 para una invertida, y delta max debe tener un tamaño plausible para esa medida.
2. Normalizar un porcentaje dos veces: bwc [%] y las puntuaciones mapeadas ya están en la escala de porcentaje; pasarlas a --normalize las vuelve a normalizar, comprimiendo su rango. Normalice solo variables continuas sin procesar que no estén ya en una escala relativa.
3. No guardar el modelo de referencia: ejecutar relsa_score.py sin --save-reference significa que el conjunto de referencia se vuelve a calcular desde cero cada vez, y si el subconjunto de datos cambia (por ejemplo, después de una exclusión), todas las puntuaciones se desplazan. La reproducibilidad requiere que --load-reference se use en todos los análisis posteriores.
4. Usar KDE con muy pocos datos: la estimación de densidad por kernel necesita al menos unas docenas de puntos para que los mínimos sean estables. En la cohorte de ejemplo (6 animales), los umbrales difieren en 0.15 entre ejecuciones con diferentes semillas. No informe umbrales de un solo experimento pequeño; agrúpelos entre cohortes o réplicas.
5. Olvidar las puntuaciones clínicas: si todas las puntuaciones clínicas son 0 (animales sanos), pasar la columna a --turned sin --score-scale produce un error de división por cero. La skill advierte sobre esto, pero la solución correcta es suministrar la escala de puntuación o excluir la variable.

Referencias

• Talbot SR et al. (2022) RELSA — Una métrica de severidad para modelos de enfermedades en roedores. Sci Rep 12, 15926. doi:10.1038/s41598-022-19...
• Lutscher et al. (2026) Pronóstico dinámico de severidad ... Manuscrito en preparación.