Communitygithub.com

healthcare-eval-harness

Arnés de evaluación de seguridad del paciente para despliegues de aplicaciones sanitarias. Conjuntos de pruebas automatizadas para precisión de CDSS, exposición de PHI, integridad del flujo de trabajo clínico y cumplimiento de integración. Bloquea despliegues en fallos de seguridad.

¿Qué es healthcare-eval-harness?

El Healthcare Eval Harness es un sistema de verificación automatizada para el despliegue de aplicaciones sanitarias que prioriza la seguridad del paciente como requisito no negociable. Se integra principalmente con Jest como framework de pruebas, pero sus categorías y umbrales son agnósticos al framework, permitiendo su uso con Vitest, pytest, PHPUnit u otros. El arnés organiza las pruebas en cinco categorías evaluadas secuencialmente: Precisión de CDSS, Exposición de PHI e Integridad de Datos son puertas CRÍTICAS que requieren un 100% de aprobación; un solo fallo bloquea el despliegue. Flujo de Trabajo Clínico e Integración son puertas ALTAS que requieren un 95%+ de aprobación, generando advertencias pero permitiendo el despliegue con revisión. Este arnés es ideal para entornos CI/CD, especialmente en pipelines de GitHub Actions, y previene despliegues inseguros al verificar que no haya fugas de información protegida, errores en lógica de soporte clínico, fallos de integridad de datos, y cumplimiento con estándares como HL7 y FHIR.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/affaan-m/ECC/tree/main/skills/healthcare-eval-harness

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Healthcare Eval Harness — Verificación de Seguridad del Paciente

Sistema de verificación automatizada para despliegues de aplicaciones sanitarias. Un solo fallo CRÍTICO bloquea el despliegue. La seguridad del paciente no es negociable.

Nota: Los ejemplos usan Jest como framework de pruebas de referencia. Adapta los comandos a tu framework (Vitest, pytest, PHPUnit, etc.) — las categorías de prueba y los umbrales de aprobación son independientes del framework.

Cuándo Usarlo

  • Antes de cualquier despliegue de aplicaciones EMR/EHR
  • Después de modificar la lógica de CDSS (interacciones farmacológicas, validación de dosis, puntuaciones)
  • Después de cambiar esquemas de base de datos que afectan datos del paciente
  • Después de modificar la autenticación o el control de acceso
  • Durante la configuración de pipelines CI/CD para aplicaciones sanitarias
  • Después de resolver conflictos de fusión en módulos clínicos

Cómo Funciona

El arnés de evaluación ejecuta cinco categorías de prueba en orden. Las tres primeras (Precisión de CDSS, Exposición de PHI, Integridad de Datos) son puertas CRÍTICAS que requieren una tasa de aprobación del 100% — un solo fallo bloquea el despliegue. Las dos restantes (Flujo de Trabajo Clínico, Integración) son puertas ALTAS que requieren una tasa de aprobación del 95%+.

Cada categoría se asigna a un patrón de ruta de prueba de Jest. El pipeline de CI ejecuta las puertas CRÍTICAS con --bail (detenerse en el primer fallo) y aplica umbrales de cobertura con --coverage --coverageThreshold.

Categorías de Evaluación

1. Precisión de CDSS (CRÍTICA — 100% requerido)

Prueba toda la lógica de soporte de decisiones clínicas: pares de interacciones farmacológicas (en ambos sentidos), reglas de validación de dosis, puntuaciones clínicas contra especificaciones publicadas, sin falsos negativos, sin fallos silenciosos.

npx jest --testPathPattern='tests/cdss' --bail --ci --coverage

2. Exposición de PHI (CRÍTICA — 100% requerido)

Prueba la ausencia de fugas de información protegida de salud: respuestas de error de la API, salida de consola, parámetros de URL, almacenamiento del navegador, aislamiento entre instalaciones, acceso no autenticado, ausencia de clave de rol de servicio.

npx jest --testPathPattern='tests/security/phi' --bail --ci

3. Integridad de Datos (CRÍTICA — 100% requerido)

Prueba la seguridad de los datos clínicos: encuentros bloqueados, entradas de pista de auditoría, protección contra eliminación en cascada, manejo de ediciones concurrentes, sin registros huérfanos.

npx jest --testPathPattern='tests/data-integrity' --bail --ci

4. Flujo de Trabajo Clínico (ALTA — 95%+ requerido)

Prueba flujos de extremo a extremo: ciclo de vida del encuentro, renderizado de plantillas, conjuntos de medicamentos, búsqueda de medicamentos/diagnósticos, PDF de prescripción, alertas de bandera roja.

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$tmp_json" || true
total=$(jq '.numTotalTests // 0' "$tmp_json")
passed=$(jq '.numPassedTests // 0' "$tmp_json")
if [ "$total" -eq 0 ]; then
  echo "No se encontraron pruebas clínicas" >&2
  exit 1
fi
tasa=$(echo "scale=2; $passed * 100 / $total" | bc)
echo "Tasa de aprobación clínica: ${tasa}% ($passed/$total)"

5. Cumplimiento de Integración (ALTA — 95%+ requerido)

Prueba sistemas externos: análisis de mensajes HL7 (v2.x), validación FHIR, mapeo de resultados de laboratorio, manejo de mensajes malformados.

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/integration' --ci --json --outputFile="$tmp_json" || true
total=$(jq '.numTotalTests // 0' "$tmp_json")
passed=$(jq '.numPassedTests // 0' "$tmp_json")
if [ "$total" -eq 0 ]; then
  echo "No se encontraron pruebas de integración" >&2
  exit 1
fi
tasa=$(echo "scale=2; $passed * 100 / $total" | bc)
echo "Tasa de aprobación de integración: ${tasa}% ($passed/$total)"

Matriz de Aprobación/Fallo

CategoríaUmbralEn caso de Fallo
Precisión de CDSS100%BLOQUEAR despliegue
Exposición de PHI100%BLOQUEAR despliegue
Integridad de Datos100%BLOQUEAR despliegue
Flujo de Trabajo Clínico95%+ADVERTIR, permitir con revisión
Integración95%+ADVERTIR, permitir con revisión

Integración CI/CD

name: Puerta de Seguridad Sanitaria
on: [push, pull_request]

jobs:
  puerta-seguridad:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: '20'
      - run: npm ci

      # Puertas CRÍTICAS — 100% requerido, detenerse en el primer fallo
      - name: Precisión CDSS
        run: npx jest --testPathPattern='tests/cdss' --bail --ci --coverage --coverageThreshold='{"global":{"branches":80,"functions":80,"lines":80}}'

      - name: Verificación Exposición PHI
        run: npx jest --testPathPattern='tests/security/phi' --bail --ci

      - name: Integridad de Datos
        run: npx jest --testPathPattern='tests/data-integrity' --bail --ci

      # Puertas ALTAS — 95%+ requerido, verificación de umbral personalizada
      - name: Flujos de Trabajo Clínicos
        run: |
          TMP_JSON=$(mktemp)
          npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$TMP_JSON" || true
          TOTAL=$(jq '.numTotalTests // 0' "$TMP_JSON")
          PASADOS=$(jq '.numPassedTests // 0' "$TMP_JSON")
          if [ "$TOTAL" -eq 0 ]; then
            echo "::error::No se encontraron pruebas clínicas"; exit 1
          fi
          TASA=$(echo "scale=2; $PASADOS * 100 / $TOTAL" | bc)
          echo "Tasa de aprobación: ${TASA}% ($PASADOS/$TOTAL)"
          if (( $(echo "$TASA < 95" | bc -l) )); then
            echo "::warning::La tasa de aprobación clínica ${TASA}% está por debajo del 95%"
          fi

      - name: Cumplimiento de Integración
        run: |
          TMP_JSON=$(mktemp)
          npx jest --testPathPattern='tests/integration' --ci --json --outputFile="$TMP_JSON" || true
          TOTAL=$(jq '.numTotalTests // 0' "$TMP_JSON")
          PASADOS=$(jq '.numPassedTests // 0' "$TMP_JSON")
          if [ "$TOTAL" -eq 0 ]; then
            echo "::error::No se encontraron pruebas de integración"; exit 1
          fi
          TASA=$(echo "scale=2; $PASADOS * 100 / $TOTAL" | bc)
          echo "Tasa de aprobación: ${TASA}% ($PASADOS/$TOTAL)"
          if (( $(echo "$TASA < 95" | bc -l) )); then
            echo "::warning::La tasa de aprobación de integración ${TASA}% está por debajo del 95%"
          fi

Anti-patrones

  • Omitir las pruebas de CDSS "porque pasaron la última vez"
  • Establecer umbrales CRÍTICOS por debajo del 100%
  • Usar --no-bail en conjuntos de pruebas CRÍTICAS
  • Simular el motor CDSS en pruebas de integración (debe probar la lógica real)
  • Permitir despliegues cuando la puerta de seguridad está en rojo
  • Ejecutar pruebas sin --coverage en conjuntos de CDSS

Ejemplos

Ejemplo 1: Ejecutar Todas las Puertas Críticas Localmente

npx jest --testPathPattern='tests/cdss' --bail --ci --coverage && \
npx jest --testPathPattern='tests/security/phi' --bail --ci && \
npx jest --testPathPattern='tests/data-integrity' --bail --ci

Ejemplo 2: Verificar Tasa de Aprobación de Puerta ALTA

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$tmp_json" || true
jq '{
  passed: (.numPassedTests // 0),
  total: (.numTotalTests // 0),
  rate: (if (.numTotalTests // 0) == 0 then 0 else ((.numPassedTests // 0) / (.numTotalTests // 1) * 100) end)
}' "$tmp_json"
# Esperado: { "passed": 21, "total": 22, "rate": 95.45 }

Ejemplo 3: Informe de Evaluación

## Evaluación Sanitaria: 2026-03-27 [commit abc1234]

### Seguridad del Paciente: APROBADO

| Categoría | Pruebas | Aprobados | Fallos | Estado |
|-----------|---------|-----------|--------|--------|
| Precisión de CDSS | 39 | 39 | 0 | APROBADO |
| Exposición de PHI | 8 | 8 | 0 | APROBADO |
| Integridad de Datos | 12 | 12 | 0 | APROBADO |
| Flujo de Trabajo Clínico | 22 | 21 | 1 | 95.5% APROBADO |
| Integración | 6 | 6 | 0 | APROBADO |

### Cobertura: 84% (objetivo: 80%+)
### Veredicto: SEGURO PARA DESPLEGAR

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

accessibility

Design, implement, and audit inclusive digital products using WCAG 2.2 Level AA. Use when building or auditing UI that must meet WCAG 2.2 Level AA, or when reviewing a change for keyboard, contrast, or screen-reader support.

affaan-m/content-engine

Create platform-native content systems for X, LinkedIn, TikTok, YouTube, newsletters, and repurposed multi-platform campaigns. Use when the user wants social posts, threads, scripts, content calendars, or one source asset adapted cleanly across platforms.

affaan-m/ECC

Multi-platform content distribution across X, LinkedIn, Threads, and Bluesky. Adapts content per platform using content-engine patterns. Never posts identical content cross-platform. Use when the user wants to distribute content across social platforms.

affaan-m/fal-ai-media

Unified media generation via fal.ai MCP — image, video, and audio. Covers text-to-image (Nano Banana), text/image-to-video (Seedance, Kling, Veo 3), text-to-speech (CSM-1B), and video-to-audio (ThinkSound). Use when the user wants to generate images, videos, or audio with AI.

affaan-m/manim-video

日本語翻訳:このファイルは manim-video 用の日本語翻訳が必要です

affaan-m/remotion-video-creation

Remotion のベストプラクティス - React で動画を作成する。3D、アニメーション、音声、字幕、チャート、トランジションなどをカバーするドメイン固有の29のルール。

affaan-m/video-editing

AI-assisted video editing workflows for cutting, structuring, and augmenting real footage. Covers the full pipeline from raw capture through FFmpeg, Remotion, ElevenLabs, fal.ai, and final polish in Descript or CapCut. Use when the user wants to edit video, cut footage, create vlogs, or build video content.

agent-architecture-audit

Full-stack diagnostic for agent and LLM applications. Audits the 12-layer agent stack for wrapper regression, memory pollution, tool discipline failures, hidden repair loops, and rendering corruption. Produces severity-ranked findings with code-first fixes. Essential for developers building agent applications, autonomous loops, or any LLM-powered feature. Use when an agent or LLM feature misbehaves and the failing layer is unknown, or before shipping an agent stack.

agent-eval

Head-to-head comparison of coding agents (Claude Code, Aider, Codex, etc.) on custom tasks with pass rate, cost, time, and consistency metrics. Use when choosing between coding agents, or when a change to an agent setup needs measured pass rate, cost, and time rather than an impression.

agent-harness-construction

Design and optimize AI agent action spaces, tool definitions, and observation formatting for higher completion rates. Use when defining or revising an agent

agentic-engineering

Operate as an agentic engineer using eval-first execution, decomposition, and cost-aware model routing. Use when planning or executing engineering work that agents will carry out end to end.

agentic-os

Build persistent multi-agent operating systems on Claude Code. Covers kernel architecture, specialist agents, slash commands, file-based memory, scheduled automation, and state management without external databases. Use when building a persistent multi-agent system on Claude Code with its own memory, commands, and scheduling.

agent-introspection-debugging

Structured self-debugging workflow for AI agent failures using capture, diagnosis, contained recovery, and introspection reports. Use when an agent run fails and you need a reproducible diagnosis instead of a retry.

agent-payment-x402

Add x402 payment execution to AI agents with per-task budgets, spending controls, and non-custodial wallets. Supports Base through agentwallet-sdk and X Layer through OKX Payments / OKX Agent Payments Protocol. Use when an agent must pay for something itself and needs per-task budgets, spending controls, and a non-custodial wallet.

agent-self-evaluation

Use after completing any non-trivial task. The agent self-rates its output on 5 axes — accuracy, completeness, clarity, actionability, conciseness — with concrete evidence per criterion. Produces a structured 1-5 scorecard with specific improvement suggestions.

agent-sort

Build an evidence-backed ECC install plan for a specific repo by sorting skills, commands, rules, hooks, and extras into DAILY vs LIBRARY buckets using parallel repo-aware review passes. Use when ECC should be trimmed to what a project actually needs instead of loading the full bundle.

ai-first-engineering

Engineering operating model for teams where AI agents generate a large share of implementation output. Use when setting team process, review gates, or ownership rules for a codebase largely written by agents.

ai-regression-testing

Regression testing strategies for AI-assisted development. Sandbox-mode API testing without database dependencies, automated bug-check workflows, and patterns to catch AI blind spots where the same model writes and reviews code. Use when adding regression coverage to AI-assisted code, or when the same model both wrote and reviewed a change.

android-clean-architecture

Clean Architecture patterns for Android and Kotlin Multiplatform projects — module structure, dependency rules, UseCases, Repositories, and data layer patterns. Use when structuring modules, layers, or data flow in an Android or KMP project.

angular-developer

Generates Angular code and provides architectural guidance. Trigger when creating projects, components, or services, or for best practices on reactivity (signals, linkedSignal, resource), forms, dependency injection, routing, SSR, accessibility (ARIA), animations, styling (component styles, Tailwind CSS), testing, or CLI tooling.

Skills relacionados