Communitygithub.com

healthcare-eval-harness — Avaliação de Segurança do Paciente

Harness de avaliação de segurança do paciente para implantações de aplicações de saúde. Conjuntos de testes automatizados para precisão de CDSS, exposição de PHI, integridade de fluxos clínicos e conformidade de integração. Bloqueia implantações em caso de falhas de segurança.

O que é healthcare-eval-harness — Avaliação de Segurança do Paciente?

O Healthcare Eval Harness é um sistema de verificação automatizada para implantações de aplicações clínicas (EMR/EHR), projetado para garantir que nenhuma alteração comprometa a segurança do paciente. Ele executa cinco categorias de testes em ordem: as três primeiras — Precisão de CDSS, Exposição de PHI e Integridade de Dados — são portões CRÍTICOS que exigem 100% de aprovação e, em caso de qualquer falha, bloqueiam automaticamente a implantação. As duas categorias seguintes — Fluxo Clínico e Conformidade de Integração — são portões ALTOS, que requerem pelo menos 95% de aprovação, emitindo um aviso (WARN) em caso de taxa inferior. O sistema é agnóstico de framework de testes (Jest, Vitest, pytest, etc.) e se integra facilmente a pipelines CI/CD (ex.: GitHub Actions). Seu uso é obrigatório antes de qualquer deploy de sistemas de saúde, após modificações em lógica CDSS, mudanças em esquemas de dados de pacientes ou alterações em controles de acesso. Ferramentas como `--bail` e `--coverage` garantem que falhas críticas interrompam imediatamente a execução e que a cobertura de código mínima seja atingida. O harness previne anti-padrões como ignorar testes de CDSS, definir limites abaixo de 100%, ou mocar o motor CDSS em testes de integração, assegurando que a segurança do paciente seja sempre não negociável.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/affaan-m/everything-claude-code/tree/main/skills/healthcare-eval-harness

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Healthcare Eval Harness — Verificação de Segurança do Paciente

Sistema de verificação automatizada para implantações de aplicações de saúde. Uma única falha CRÍTICA bloqueia a implantação. A segurança do paciente não é negociável.

Nota: Os exemplos usam Jest como executor de testes de referência. Adapte os comandos para seu framework (Vitest, pytest, PHPUnit, etc.) — as categorias de teste e os limites de aprovação são independentes de framework.

Quando Usar

  • Antes de qualquer implantação de aplicações EMR/EHR
  • Após modificar a lógica de CDSS (interações medicamentosas, validação de doses, pontuação)
  • Após alterar esquemas de banco de dados que tocam dados de pacientes
  • Após modificar autenticação ou controle de acesso
  • Durante a configuração de pipelines CI/CD para aplicações de saúde
  • Após resolver conflitos de merge em módulos clínicos

Como Funciona

O harness de avaliação executa cinco categorias de testes em ordem. As três primeiras (Precisão de CDSS, Exposição de PHI, Integridade de Dados) são portões CRÍTICOS que exigem 100% de aprovação — uma única falha bloqueia a implantação. As duas restantes (Fluxo Clínico, Integração) são portões ALTOS que exigem 95%+ de aprovação.

Cada categoria mapeia para um padrão de caminho de teste do Jest. O pipeline CI executa portões CRÍTICOS com --bail (parar na primeira falha) e impõe limites de cobertura com --coverage --coverageThreshold.

Categorias de Avaliação

1. Precisão de CDSS (CRÍTICO — 100% exigido)

Testa toda a lógica de suporte à decisão clínica: pares de interação medicamentosa (ambas as direções), regras de validação de dose, pontuação clínica vs. especificações publicadas, sem falsos negativos, sem falhas silenciosas.

npx jest --testPathPattern='tests/cdss' --bail --ci --coverage

2. Exposição de PHI (CRÍTICO — 100% exigido)

Testa vazamentos de informações de saúde protegidas: respostas de erro de API, saída de console, parâmetros de URL, armazenamento do navegador, isolamento entre instalações, acesso não autenticado, ausência de chave de função de serviço.

npx jest --testPathPattern='tests/security/phi' --bail --ci

3. Integridade de Dados (CRÍTICO — 100% exigido)

Testa segurança de dados clínicos: encontros bloqueados, entradas de trilha de auditoria, proteção contra exclusão em cascata, manipulação de edições concorrentes, sem registros órfãos.

npx jest --testPathPattern='tests/data-integrity' --bail --ci

4. Fluxo Clínico (ALTO — 95%+ exigido)

Testa fluxos ponta a ponta: ciclo de vida do encontro, renderização de modelos, conjuntos de medicamentos, pesquisa de medicamentos/diagnósticos, PDF de prescrição, alertas de bandeira vermelha.

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$tmp_json" || true
total=$(jq '.numTotalTests // 0' "$tmp_json")
passed=$(jq '.numPassedTests // 0' "$tmp_json")
if [ "$total" -eq 0 ]; then
  echo "Nenhum teste clínico encontrado" >&2
  exit 1
fi
rate=$(echo "scale=2; $passed * 100 / $total" | bc)
echo "Taxa de aprovação clínica: ${rate}% ($passed/$total)"

5. Conformidade de Integração (ALTO — 95%+ exigido)

Testa sistemas externos: parsing de mensagens HL7 (v2.x), validação FHIR, mapeamento de resultados laboratoriais, manipulação de mensagens malformadas.

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/integration' --ci --json --outputFile="$tmp_json" || true
total=$(jq '.numTotalTests // 0' "$tmp_json")
passed=$(jq '.numPassedTests // 0' "$tmp_json")
if [ "$total" -eq 0 ]; then
  echo "Nenhum teste de integração encontrado" >&2
  exit 1
fi
rate=$(echo "scale=2; $passed * 100 / $total" | bc)
echo "Taxa de aprovação de integração: ${rate}% ($passed/$total)"

Matriz de Aprovação/Falha

CategoriaLimiteEm caso de falha
Precisão de CDSS100%BLOQUEAR implantação
Exposição de PHI100%BLOQUEAR implantação
Integridade de Dados100%BLOQUEAR implantação
Fluxo Clínico95%+AVISO, permitir com revisão
Integração95%+AVISO, permitir com revisão

Integração CI/CD

name: Portão de Segurança em Saúde
on: [push, pull_request]

jobs:
  safety-gate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: '20'
      - run: npm ci

      # Portões CRÍTICOS — 100% exigido, parar na primeira falha
      - name: Precisão de CDSS
        run: npx jest --testPathPattern='tests/cdss' --bail --ci --coverage --coverageThreshold='{"global":{"branches":80,"functions":80,"lines":80}}'

      - name: Verificação de Exposição de PHI
        run: npx jest --testPathPattern='tests/security/phi' --bail --ci

      - name: Integridade de Dados
        run: npx jest --testPathPattern='tests/data-integrity' --bail --ci

      # Portões ALTOS — 95%+ exigido, verificação de limite personalizada
      - name: Fluxos Clínicos
        run: |
          TMP_JSON=$(mktemp)
          npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$TMP_JSON" || true
          TOTAL=$(jq '.numTotalTests // 0' "$TMP_JSON")
          PASSED=$(jq '.numPassedTests // 0' "$TMP_JSON")
          if [ "$TOTAL" -eq 0 ]; then
            echo "::error::Nenhum teste clínico encontrado"; exit 1
          fi
          RATE=$(echo "scale=2; $PASSED * 100 / $TOTAL" | bc)
          echo "Taxa de aprovação: ${RATE}% ($PASSED/$TOTAL)"
          if (( $(echo "$RATE < 95" | bc -l) )); then
            echo "::warning::Taxa de aprovação clínica ${RATE}% abaixo de 95%"
          fi

      - name: Conformidade de Integração
        run: |
          TMP_JSON=$(mktemp)
          npx jest --testPathPattern='tests/integration' --ci --json --outputFile="$TMP_JSON" || true
          TOTAL=$(jq '.numTotalTests // 0' "$TMP_JSON")
          PASSED=$(jq '.numPassedTests // 0' "$TMP_JSON")
          if [ "$TOTAL" -eq 0 ]; then
            echo "::error::Nenhum teste de integração encontrado"; exit 1
          fi
          RATE=$(echo "scale=2; $PASSED * 100 / $TOTAL" | bc)
          echo "Taxa de aprovação: ${RATE}% ($PASSED/$TOTAL)"
          if (( $(echo "$RATE < 95" | bc -l) )); then
            echo "::warning::Taxa de aprovação de integração ${RATE}% abaixo de 95%"
          fi

Anti-Padrões

  • Pular testes de CDSS "porque passaram da última vez"
  • Definir limites CRÍTICOS abaixo de 100%
  • Usar --no-bail em conjuntos de testes CRÍTICOS
  • Mocar o motor CDSS em testes de integração (deve testar a lógica real)
  • Permitir implantações quando o portão de segurança está vermelho
  • Executar testes sem --coverage nos conjuntos de CDSS

Exemplos

Exemplo 1: Executar Todos os Portões Críticos Localmente

npx jest --testPathPattern='tests/cdss' --bail --ci --coverage && \
npx jest --testPathPattern='tests/security/phi' --bail --ci && \
npx jest --testPathPattern='tests/data-integrity' --bail --ci

Exemplo 2: Verificar Taxa de Aprovação do Portão Alto

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$tmp_json" || true
jq '{
  passed: (.numPassedTests // 0),
  total: (.numTotalTests // 0),
  rate: (if (.numTotalTests // 0) == 0 then 0 else ((.numPassedTests // 0) / (.numTotalTests // 1) * 100) end)
}' "$tmp_json"
# Esperado: { "passed": 21, "total": 22, "rate": 95.45 }

Exemplo 3: Relatório de Avaliação

## Healthcare Eval: 2026-03-27 [commit abc1234]

### Segurança do Paciente: APROVADO

| Categoria | Testes | Aprovados | Falhas | Status |
|-----------|--------|-----------|--------|--------|
| Precisão de CDSS | 39 | 39 | 0 | APROVADO |
| Exposição de PHI | 8 | 8 | 0 | APROVADO |
| Integridade de Dados | 12 | 12 | 0 | APROVADO |
| Fluxo Clínico | 22 | 21 | 1 | 95,5% APROVADO |
| Integração | 6 | 6 | 0 | APROVADO |

### Cobertura: 84% (alvo: 80%+)
### Veredito: SEGURO PARA IMPLANTAR

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

accessibility

Design, implement, and audit inclusive digital products using WCAG 2.2 Level AA. Use when building or auditing UI that must meet WCAG 2.2 Level AA, or when reviewing a change for keyboard, contrast, or screen-reader support.

affaan-m/claude-api

Anthropic Claude API patterns for Python and TypeScript. Covers Messages API, streaming, tool use, vision, extended thinking, batches, prompt caching, and Claude Agent SDK. Use when building applications with the Claude API or Anthropic SDKs.

affaan-m/everything-claude-code

End-to-end marketing campaign planning and execution. Covers audience research, positioning, campaign angle definition, landing page copy, email sequences, social posts, ad copy, short-form video scripts, and content calendars. Use as the orchestration layer for multi-channel product launches. Use when planning or executing a multi-channel product launch, or producing landing page, email, social, or ad copy.

affaan-m/everything-claude-code

Development conventions and patterns for everything-claude-code. JavaScript project with conventional commits.

affaan-m/everything-claude-code-conventions

Development conventions and patterns for everything-claude-code. JavaScript project with conventional commits.

affaan-m/frontend-design

Create distinctive, production-grade frontend interfaces with high design quality. Use when the user asks to build web components, pages, or applications and the visual direction matters as much as the code quality.

affaan-m/gget

gget CLI and Python workflow for quick genomic database queries, sequence lookup, BLAST-style searches, enrichment checks, and reproducible bioinformatics evidence logs.

affaan-m/literature-review

Systematic literature-review workflow for academic, biomedical, technical, and scientific topics, including search planning, source screening, synthesis, citation checks, and evidence logging.

affaan-m/motion-ui

Production-ready UI motion system for React/Next.js. Use when implementing animations, transitions, or motion patterns.

affaan-m/project-guidelines-example

Example project-specific skill template based on a real production application.

affaan-m/pubmed-database

Direct PubMed and NCBI E-utilities search workflows for biomedical literature, MeSH queries, PMID lookup, citation retrieval, and API-backed literature monitoring.

affaan-m/scholar-evaluation

Structured scholarly-work evaluation for papers, proposals, literature reviews, methods sections, evidence quality, citation support, and research-writing feedback.

affaan-m/uspto-database

USPTO patent and trademark data workflow for official record lookup, PatentSearch queries, TSDR checks, assignment data, and reproducible IP research logs.

agent-architecture-audit

Full-stack diagnostic for agent and LLM applications. Audits the 12-layer agent stack for wrapper regression, memory pollution, tool discipline failures, hidden repair loops, and rendering corruption. Produces severity-ranked findings with code-first fixes. Essential for developers building agent applications, autonomous loops, or any LLM-powered feature. Use when an agent or LLM feature misbehaves and the failing layer is unknown, or before shipping an agent stack.

agent-eval

Head-to-head comparison of coding agents (Claude Code, Aider, Codex, etc.) on custom tasks with pass rate, cost, time, and consistency metrics. Use when choosing between coding agents, or when a change to an agent setup needs measured pass rate, cost, and time rather than an impression.

agent-harness-construction

Design and optimize AI agent action spaces, tool definitions, and observation formatting for higher completion rates. Use when defining or revising an agent

agentic-engineering

Operate as an agentic engineer using eval-first execution, decomposition, and cost-aware model routing. Use when planning or executing engineering work that agents will carry out end to end.

agentic-os

Build persistent multi-agent operating systems on Claude Code. Covers kernel architecture, specialist agents, slash commands, file-based memory, scheduled automation, and state management without external databases. Use when building a persistent multi-agent system on Claude Code with its own memory, commands, and scheduling.

agent-introspection-debugging

Structured self-debugging workflow for AI agent failures using capture, diagnosis, contained recovery, and introspection reports. Use when an agent run fails and you need a reproducible diagnosis instead of a retry.

agent-payment-x402

Add x402 payment execution to AI agents with per-task budgets, spending controls, and non-custodial wallets. Supports Base through agentwallet-sdk and X Layer through OKX Payments / OKX Agent Payments Protocol. Use when an agent must pay for something itself and needs per-task budgets, spending controls, and a non-custodial wallet.

Habilidades Relacionadas