Communitygithub.com

healthcare-eval-harness

Arnês de avaliação de segurança do paciente para implantações de aplicativos de saúde. Conjuntos de testes automatizados para precisão de CDSS, exposição de PHI, integridade do fluxo de trabalho clínico e conformidade de integração. Bloqueia implantações em caso de falhas de segurança.

O que é healthcare-eval-harness?

O Healthcare Eval Harness é uma ferramenta de verificação automatizada projetada para bloquear implantações de aplicativos de saúde que não atendam a rigorosos padrões de segurança do paciente. Ele é especialmente útil para desenvolvedores que trabalham com sistemas EMR/EHR, lógica de suporte à decisão clínica (CDSS) e dados protegidos de saúde (PHI). A ferramenta organiza os testes em cinco categorias: três críticas (precisão de CDSS, exposição de PHI e integridade de dados), que exigem 100% de aprovação e param na primeira falha, e duas de alta prioridade (fluxo de trabalho clínico e conformidade de integração), que exigem 95% ou mais. Embora os exemplos usem Jest, a estrutura é agnóstica a frameworks e pode ser adaptada para Vitest, pytest, PHPUnit e outros. O pipeline CI/CD integrado (exemplo em GitHub Actions) executa os testes em ordem, gera relatórios de cobertura e garante que nenhuma implantação ocorra enquanto portões de segurança estiverem vermelhos. A ferramenta também documenta anti-padrões, como pular testes de CDSS ou definir limites abaixo de 100%, para evitar falsos positivos e riscos à segurança do paciente.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/affaan-m/ECC/tree/main/skills/healthcare-eval-harness

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Healthcare Eval Harness — Verificação de Segurança do Paciente

Sistema de verificação automatizada para implantações de aplicativos de saúde. Uma única falha CRÍTICA bloqueia a implantação. A segurança do paciente não é negociável.

Nota: Os exemplos usam Jest como executor de testes de referência. Adapte os comandos para seu framework (Vitest, pytest, PHPUnit, etc.) — as categorias de teste e os limites de aprovação são independentes de framework.

Quando Usar

  • Antes de qualquer implantação de aplicativos EMR/EHR
  • Após modificar a lógica de CDSS (interações medicamentosas, validação de doses, pontuações)
  • Após alterar esquemas de banco de dados que tocam dados de pacientes
  • Após modificar autenticação ou controle de acesso
  • Durante a configuração de pipelines CI/CD para aplicativos de saúde
  • Após resolver conflitos de mesclagem em módulos clínicos

Como Funciona

O arnês de avaliação executa cinco categorias de teste em ordem. As três primeiras (Precisão de CDSS, Exposição de PHI, Integridade de Dados) são portões CRÍTICOS que exigem 100% de aprovação — uma única falha bloqueia a implantação. As duas restantes (Fluxo de Trabalho Clínico, Integração) são portões ALTOS que exigem 95%+ de aprovação.

Cada categoria corresponde a um padrão de caminho de teste do Jest. O pipeline CI executa portões CRÍTICOS com --bail (parar na primeira falha) e aplica limites de cobertura com --coverage --coverageThreshold.

Categorias de Avaliação

1. Precisão de CDSS (CRÍTICO — 100% exigido)

Testa toda a lógica de suporte à decisão clínica: pares de interação medicamentosa (ambas as direções), regras de validação de doses, pontuações clínicas versus especificações publicadas, sem falsos negativos, sem falhas silenciosas.

npx jest --testPathPattern='tests/cdss' --bail --ci --coverage

2. Exposição de PHI (CRÍTICO — 100% exigido)

Testa vazamentos de informações protegidas de saúde: respostas de erro da API, saída do console, parâmetros de URL, armazenamento do navegador, isolamento entre instalações, acesso não autenticado, ausência de chave de função de serviço.

npx jest --testPathPattern='tests/security/phi' --bail --ci

3. Integridade de Dados (CRÍTICO — 100% exigido)

Testa a segurança dos dados clínicos: encontros bloqueados, entradas de trilha de auditoria, proteção contra exclusão em cascata, manipulação de edição simultânea, sem registros órfãos.

npx jest --testPathPattern='tests/data-integrity' --bail --ci

4. Fluxo de Trabalho Clínico (ALTO — 95%+ exigido)

Testa fluxos de ponta a ponta: ciclo de vida do encontro, renderização de modelos, conjuntos de medicamentos, pesquisa de medicamentos/diagnósticos, PDF de prescrição, alertas de bandeira vermelha.

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$tmp_json" || true
total=$(jq '.numTotalTests // 0' "$tmp_json")
passed=$(jq '.numPassedTests // 0' "$tmp_json")
if [ "$total" -eq 0 ]; then
  echo "Nenhum teste clínico encontrado" >&2
  exit 1
fi
rate=$(echo "scale=2; $passed * 100 / $total" | bc)
echo "Taxa de aprovação clínica: ${rate}% ($passed/$total)"

5. Conformidade de Integração (ALTO — 95%+ exigido)

Testa sistemas externos: análise de mensagens HL7 (v2.x), validação FHIR, mapeamento de resultados laboratoriais, tratamento de mensagens malformadas.

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/integration' --ci --json --outputFile="$tmp_json" || true
total=$(jq '.numTotalTests // 0' "$tmp_json")
passed=$(jq '.numPassedTests // 0' "$tmp_json")
if [ "$total" -eq 0 ]; then
  echo "Nenhum teste de integração encontrado" >&2
  exit 1
fi
rate=$(echo "scale=2; $passed * 100 / $total" | bc)
echo "Taxa de aprovação de integração: ${rate}% ($passed/$total)"

Matriz de Aprovação/Falha

CategoriaLimiteEm caso de Falha
Precisão de CDSS100%BLOQUEAR implantação
Exposição de PHI100%BLOQUEAR implantação
Integridade de Dados100%BLOQUEAR implantação
Fluxo de Trabalho Clínico95%+AVISO, permitir com revisão
Integração95%+AVISO, permitir com revisão

Integração CI/CD

name: Portão de Segurança de Saúde
on: [push, pull_request]

jobs:
  safety-gate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: '20'
      - run: npm ci

      # Portões CRÍTICOS — 100% exigido, parar na primeira falha
      - name: Precisão de CDSS
        run: npx jest --testPathPattern='tests/cdss' --bail --ci --coverage --coverageThreshold='{"global":{"branches":80,"functions":80,"lines":80}}'

      - name: Verificação de Exposição de PHI
        run: npx jest --testPathPattern='tests/security/phi' --bail --ci

      - name: Integridade de Dados
        run: npx jest --testPathPattern='tests/data-integrity' --bail --ci

      # Portões ALTOS — 95%+ exigido, verificação de limite personalizado
      - name: Fluxos de Trabalho Clínicos
        run: |
          TMP_JSON=$(mktemp)
          npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$TMP_JSON" || true
          TOTAL=$(jq '.numTotalTests // 0' "$TMP_JSON")
          PASSED=$(jq '.numPassedTests // 0' "$TMP_JSON")
          if [ "$TOTAL" -eq 0 ]; then
            echo "::error::Nenhum teste clínico encontrado"; exit 1
          fi
          RATE=$(echo "scale=2; $PASSED * 100 / $TOTAL" | bc)
          echo "Taxa de aprovação: ${RATE}% ($PASSED/$TOTAL)"
          if (( $(echo "$RATE < 95" | bc -l) )); then
            echo "::warning::Taxa de aprovação clínica ${RATE}% abaixo de 95%"
          fi

      - name: Conformidade de Integração
        run: |
          TMP_JSON=$(mktemp)
          npx jest --testPathPattern='tests/integration' --ci --json --outputFile="$TMP_JSON" || true
          TOTAL=$(jq '.numTotalTests // 0' "$TMP_JSON")
          PASSED=$(jq '.numPassedTests // 0' "$TMP_JSON")
          if [ "$TOTAL" -eq 0 ]; then
            echo "::error::Nenhum teste de integração encontrado"; exit 1
          fi
          RATE=$(echo "scale=2; $PASSED * 100 / $TOTAL" | bc)
          echo "Taxa de aprovação: ${RATE}% ($PASSED/$TOTAL)"
          if (( $(echo "$RATE < 95" | bc -l) )); then
            echo "::warning::Taxa de aprovação de integração ${RATE}% abaixo de 95%"
          fi

Anti-Padrões

  • Pular testes de CDSS "porque passaram da última vez"
  • Definir limites CRÍTICOS abaixo de 100%
  • Usar --no-bail em suítes de teste CRÍTICAS
  • Simular o mecanismo de CDSS em testes de integração (deve testar a lógica real)
  • Permitir implantações quando o portão de segurança está vermelho
  • Executar testes sem --coverage nas suítes de CDSS

Exemplos

Exemplo 1: Executar Todos os Portões Críticos Localmente

npx jest --testPathPattern='tests/cdss' --bail --ci --coverage && \
npx jest --testPathPattern='tests/security/phi' --bail --ci && \
npx jest --testPathPattern='tests/data-integrity' --bail --ci

Exemplo 2: Verificar Taxa de Aprovação do Portão ALTO

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$tmp_json" || true
jq '{
  passed: (.numPassedTests // 0),
  total: (.numTotalTests // 0),
  rate: (if (.numTotalTests // 0) == 0 then 0 else ((.numPassedTests // 0) / (.numTotalTests // 1) * 100) end)
}' "$tmp_json"
# Esperado: { "passed": 21, "total": 22, "rate": 95.45 }

Exemplo 3: Relatório de Avaliação

## Avaliação de Saúde: 2026-03-27 [commit abc1234]

### Segurança do Paciente: APROVADO

| Categoria | Testes | Aprovados | Falhas | Status |
|-----------|--------|-----------|--------|--------|
| Precisão de CDSS | 39 | 39 | 0 | APROVADO |
| Exposição de PHI | 8 | 8 | 0 | APROVADO |
| Integridade de Dados | 12 | 12 | 0 | APROVADO |
| Fluxo de Trabalho Clínico | 22 | 21 | 1 | 95.5% APROVADO |
| Integração | 6 | 6 | 0 | APROVADO |

### Cobertura: 84% (alvo: 80%+)
### Veredito: SEGURO PARA IMPLANTAR

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

accessibility

Design, implement, and audit inclusive digital products using WCAG 2.2 Level AA. Use when building or auditing UI that must meet WCAG 2.2 Level AA, or when reviewing a change for keyboard, contrast, or screen-reader support.

affaan-m/content-engine

Create platform-native content systems for X, LinkedIn, TikTok, YouTube, newsletters, and repurposed multi-platform campaigns. Use when the user wants social posts, threads, scripts, content calendars, or one source asset adapted cleanly across platforms.

affaan-m/ECC

Multi-platform content distribution across X, LinkedIn, Threads, and Bluesky. Adapts content per platform using content-engine patterns. Never posts identical content cross-platform. Use when the user wants to distribute content across social platforms.

affaan-m/fal-ai-media

Unified media generation via fal.ai MCP — image, video, and audio. Covers text-to-image (Nano Banana), text/image-to-video (Seedance, Kling, Veo 3), text-to-speech (CSM-1B), and video-to-audio (ThinkSound). Use when the user wants to generate images, videos, or audio with AI.

affaan-m/manim-video

日本語翻訳:このファイルは manim-video 用の日本語翻訳が必要です

affaan-m/remotion-video-creation

Remotion のベストプラクティス - React で動画を作成する。3D、アニメーション、音声、字幕、チャート、トランジションなどをカバーするドメイン固有の29のルール。

affaan-m/video-editing

AI-assisted video editing workflows for cutting, structuring, and augmenting real footage. Covers the full pipeline from raw capture through FFmpeg, Remotion, ElevenLabs, fal.ai, and final polish in Descript or CapCut. Use when the user wants to edit video, cut footage, create vlogs, or build video content.

agent-architecture-audit

Full-stack diagnostic for agent and LLM applications. Audits the 12-layer agent stack for wrapper regression, memory pollution, tool discipline failures, hidden repair loops, and rendering corruption. Produces severity-ranked findings with code-first fixes. Essential for developers building agent applications, autonomous loops, or any LLM-powered feature. Use when an agent or LLM feature misbehaves and the failing layer is unknown, or before shipping an agent stack.

agent-eval

Head-to-head comparison of coding agents (Claude Code, Aider, Codex, etc.) on custom tasks with pass rate, cost, time, and consistency metrics. Use when choosing between coding agents, or when a change to an agent setup needs measured pass rate, cost, and time rather than an impression.

agent-harness-construction

Design and optimize AI agent action spaces, tool definitions, and observation formatting for higher completion rates. Use when defining or revising an agent

agentic-engineering

Operate as an agentic engineer using eval-first execution, decomposition, and cost-aware model routing. Use when planning or executing engineering work that agents will carry out end to end.

agentic-os

Build persistent multi-agent operating systems on Claude Code. Covers kernel architecture, specialist agents, slash commands, file-based memory, scheduled automation, and state management without external databases. Use when building a persistent multi-agent system on Claude Code with its own memory, commands, and scheduling.

agent-introspection-debugging

Structured self-debugging workflow for AI agent failures using capture, diagnosis, contained recovery, and introspection reports. Use when an agent run fails and you need a reproducible diagnosis instead of a retry.

agent-payment-x402

Add x402 payment execution to AI agents with per-task budgets, spending controls, and non-custodial wallets. Supports Base through agentwallet-sdk and X Layer through OKX Payments / OKX Agent Payments Protocol. Use when an agent must pay for something itself and needs per-task budgets, spending controls, and a non-custodial wallet.

agent-self-evaluation

Use after completing any non-trivial task. The agent self-rates its output on 5 axes — accuracy, completeness, clarity, actionability, conciseness — with concrete evidence per criterion. Produces a structured 1-5 scorecard with specific improvement suggestions.

agent-sort

Build an evidence-backed ECC install plan for a specific repo by sorting skills, commands, rules, hooks, and extras into DAILY vs LIBRARY buckets using parallel repo-aware review passes. Use when ECC should be trimmed to what a project actually needs instead of loading the full bundle.

ai-first-engineering

Engineering operating model for teams where AI agents generate a large share of implementation output. Use when setting team process, review gates, or ownership rules for a codebase largely written by agents.

ai-regression-testing

Regression testing strategies for AI-assisted development. Sandbox-mode API testing without database dependencies, automated bug-check workflows, and patterns to catch AI blind spots where the same model writes and reviews code. Use when adding regression coverage to AI-assisted code, or when the same model both wrote and reviewed a change.

android-clean-architecture

Clean Architecture patterns for Android and Kotlin Multiplatform projects — module structure, dependency rules, UseCases, Repositories, and data layer patterns. Use when structuring modules, layers, or data flow in an Android or KMP project.

angular-developer

Generates Angular code and provides architectural guidance. Trigger when creating projects, components, or services, or for best practices on reactivity (signals, linkedSignal, resource), forms, dependency injection, routing, SSR, accessibility (ARIA), animations, styling (component styles, Tailwind CSS), testing, or CLI tooling.

Habilidades Relacionadas