Communitygithub.com

healthcare-eval-harness

Banc d'essai de vérification de la sécurité des patients pour les déploiements d'applications de santé. Suites de tests automatisés pour l'exactitude des CDSS, l'exposition des PHI, l'intégrité des flux de travail cliniques et la conformité d'intégration. Bloque les déploiements en cas d'échec de sécurité. À utiliser lorsqu'un déploiement de santé doit être conditionné par des tests de sécurité des patients pour l'exactitude des CDSS, l'exposition des PHI et l'intégrité des flux de travail.

Qu'est-ce que healthcare-eval-harness ?

Le Healthcare Eval Harness est un système automatisé de vérification de la sécurité des patients pour les déploiements d'applications de soins de santé. Il exécute cinq catégories de tests : précision du CDSS, exposition des PHI, intégrité des données, flux de travail clinique et conformité d'intégration. Les trois premières catégories sont des barrières critiques avec un seuil de 100 %, bloquant le déploiement en cas d'échec ; les deux dernières ont un seuil de 95 % avec un avertissement. L'outil s'intègre dans les pipelines CI/CD (exemples fournis pour GitHub Actions) et utilise Jest comme exécuteur de test de référence, mais il est adaptable à d'autres frameworks. Il garantit que la sécurité des patients n'est jamais compromise lors des déploiements.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/affaan-m/ECC/tree/main/skills/healthcare-eval-harness

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Healthcare Eval Harness — Vérification de la Sécurité des Patients

Système automatisé de vérification pour les déploiements d'applications de soins de santé. Un seul échec CRITIQUE bloque le déploiement. La sécurité des patients n'est pas négociable.

Remarque : Les exemples utilisent Jest comme exécuteur de test de référence. Adaptez les commandes à votre framework (Vitest, pytest, PHPUnit, etc.) — les catégories de test et les seuils de réussite sont indépendants du framework.

Quand l'utiliser

  • Avant tout déploiement d'applications EMR/EHR
  • Après avoir modifié la logique CDSS (interactions médicamenteuses, validation des doses, scores)
  • Après avoir modifié les schémas de base de données qui touchent aux données patients
  • Après avoir modifié l'authentification ou le contrôle d'accès
  • Lors de la configuration du pipeline CI/CD pour les applications de santé
  • Après avoir résolu des conflits de fusion dans les modules cliniques

Comment ça fonctionne

Le banc d'essai exécute cinq catégories de tests dans l'ordre. Les trois premières (Précision CDSS, Exposition PHI, Intégrité des données) sont des barrières CRITIQUES nécessitant un taux de réussite de 100 % — un seul échec bloque le déploiement. Les deux suivantes (Flux de travail clinique, Intégration) sont des barrières HAUTES nécessitant un taux de réussite de 95 % ou plus.

Chaque catégorie correspond à un modèle de chemin de test Jest. Le pipeline CI exécute les barrières CRITIQUES avec --bail (arrêt au premier échec) et applique des seuils de couverture avec --coverage --coverageThreshold.

Catégories d'évaluation

1. Précision du CDSS (CRITIQUE — 100 % requis)

Teste toute la logique de support décisionnel clinique : paires d'interactions médicamenteuses (dans les deux sens), règles de validation des doses, scores cliniques par rapport aux spécifications publiées, aucun faux négatif, aucune défaillance silencieuse.

npx jest --testPathPattern='tests/cdss' --bail --ci --coverage

2. Exposition des PHI (CRITIQUE — 100 % requis)

Teste les fuites d'informations de santé protégées : réponses d'erreur de l'API, sortie console, paramètres d'URL, stockage navigateur, isolation entre établissements, accès non authentifié, absence de clé de rôle de service.

npx jest --testPathPattern='tests/security/phi' --bail --ci

3. Intégrité des données (CRITIQUE — 100 % requis)

Teste la sécurité des données cliniques : rencontres verrouillées, entrées de piste d'audit, protection contre les suppressions en cascade, gestion des modifications simultanées, absence d'enregistrements orphelins.

npx jest --testPathPattern='tests/data-integrity' --bail --ci

4. Flux de travail clinique (HAUTE — 95 %+ requis)

Teste les flux de bout en bout : cycle de vie des rencontres, rendu des modèles, ensembles de médicaments, recherche de médicaments/diagnostics, PDF de prescription, alertes de drapeau rouge.

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$tmp_json" || true
total=$(jq '.numTotalTests // 0' "$tmp_json")
passed=$(jq '.numPassedTests // 0' "$tmp_json")
if [ "$total" -eq 0 ]; then
  echo "Aucun test clinique trouvé" >&2
  exit 1
fi
rate=$(echo "scale=2; $passed * 100 / $total" | bc)
echo "Taux de réussite clinique : ${rate}% ($passed/$total)"

5. Conformité d'intégration (HAUTE — 95 %+ requis)

Teste les systèmes externes : analyse des messages HL7 (v2.x), validation FHIR, mappage des résultats de laboratoire, gestion des messages malformés.

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/integration' --ci --json --outputFile="$tmp_json" || true
total=$(jq '.numTotalTests // 0' "$tmp_json")
passed=$(jq '.numPassedTests // 0' "$tmp_json")
if [ "$total" -eq 0 ]; then
  echo "Aucun test d'intégration trouvé" >&2
  exit 1
fi
rate=$(echo "scale=2; $passed * 100 / $total" | bc)
echo "Taux de réussite d'intégration : ${rate}% ($passed/$total)"

Matrice de réussite/échec

CatégorieSeuilEn cas d'échec
Précision CDSS100 %BLOQUER le déploiement
Exposition PHI100 %BLOQUER le déploiement
Intégrité des données100 %BLOQUER le déploiement
Flux de travail clinique95 %+AVERTISSEMENT, autoriser avec révision
Intégration95 %+AVERTISSEMENT, autoriser avec révision

Intégration CI/CD

name: Healthcare Safety Gate
on: [push, pull_request]

jobs:
  safety-gate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: '20'
      - run: npm ci

      # Barrières CRITIQUES — 100 % requis, arrêt au premier échec
      - name: Précision CDSS
        run: npx jest --testPathPattern='tests/cdss' --bail --ci --coverage --coverageThreshold='{"global":{"branches":80,"functions":80,"lines":80}}'

      - name: Vérification PHI
        run: npx jest --testPathPattern='tests/security/phi' --bail --ci

      - name: Intégrité des données
        run: npx jest --testPathPattern='tests/data-integrity' --bail --ci

      # Barrières HAUTES — 95 %+ requis, vérification de seuil personnalisée
      - name: Flux de travail cliniques
        run: |
          TMP_JSON=$(mktemp)
          npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$TMP_JSON" || true
          TOTAL=$(jq '.numTotalTests // 0' "$TMP_JSON")
          PASSED=$(jq '.numPassedTests // 0' "$TMP_JSON")
          if [ "$TOTAL" -eq 0 ]; then
            echo "::error::Aucun test clinique trouvé"; exit 1
          fi
          RATE=$(echo "scale=2; $PASSED * 100 / $TOTAL" | bc)
          echo "Taux de réussite : ${RATE}% ($PASSED/$TOTAL)"
          if (( $(echo "$RATE < 95" | bc -l) )); then
            echo "::warning::Le taux de réussite clinique ${RATE}% est inférieur à 95%"
          fi

      - name: Conformité d'intégration
        run: |
          TMP_JSON=$(mktemp)
          npx jest --testPathPattern='tests/integration' --ci --json --outputFile="$TMP_JSON" || true
          TOTAL=$(jq '.numTotalTests // 0' "$TMP_JSON")
          PASSED=$(jq '.numPassedTests // 0' "$TMP_JSON")
          if [ "$TOTAL" -eq 0 ]; then
            echo "::error::Aucun test d'intégration trouvé"; exit 1
          fi
          RATE=$(echo "scale=2; $PASSED * 100 / $TOTAL" | bc)
          echo "Taux de réussite : ${RATE}% ($PASSED/$TOTAL)"
          if (( $(echo "$RATE < 95" | bc -l) )); then
            echo "::warning::Le taux de réussite d'intégration ${RATE}% est inférieur à 95%"
          fi

Anti-patrons

  • Sauter les tests CDSS « parce qu'ils ont réussi la dernière fois »
  • Définir des seuils CRITIQUES en dessous de 100 %
  • Utiliser --no-bail sur les suites de tests CRITIQUES
  • Simuler le moteur CDSS dans les tests d'intégration (doit tester la logique réelle)
  • Autoriser les déploiements lorsque la barrière de sécurité est rouge
  • Exécuter les tests sans --coverage sur les suites CDSS

Exemples

Exemple 1 : Exécuter toutes les barrières critiques localement

npx jest --testPathPattern='tests/cdss' --bail --ci --coverage && \
npx jest --testPathPattern='tests/security/phi' --bail --ci && \
npx jest --testPathPattern='tests/data-integrity' --bail --ci

Exemple 2 : Vérifier le taux de réussite des barrières HAUTES

tmp_json=$(mktemp)
npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$tmp_json" || true
jq '{
  passed: (.numPassedTests // 0),
  total: (.numTotalTests // 0),
  rate: (if (.numTotalTests // 0) == 0 then 0 else ((.numPassedTests // 0) / (.numTotalTests // 1) * 100) end)
}' "$tmp_json"
# Attendu : { "passed": 21, "total": 22, "rate": 95.45 }

Exemple 3 : Rapport d'évaluation

## Évaluation Healthcare : 2026-03-27 [commit abc1234]

### Sécurité des patients : RÉUSSI

| Catégorie | Tests | Réussis | Échecs | Statut |
|-----------|-------|---------|--------|--------|
| Précision CDSS | 39 | 39 | 0 | RÉUSSI |
| Exposition PHI | 8 | 8 | 0 | RÉUSSI |
| Intégrité des données | 12 | 12 | 0 | RÉUSSI |
| Flux de travail clinique | 22 | 21 | 1 | 95,5 % RÉUSSI |
| Intégration | 6 | 6 | 0 | RÉUSSI |

### Couverture : 84 % (cible : 80 %+)
### Verdict : SÛR À DÉPLOYER

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

accessibility

Design, implement, and audit inclusive digital products using WCAG 2.2 Level AA. Use when building or auditing UI that must meet WCAG 2.2 Level AA, or when reviewing a change for keyboard, contrast, or screen-reader support.

affaan-m/content-engine

Create platform-native content systems for X, LinkedIn, TikTok, YouTube, newsletters, and repurposed multi-platform campaigns. Use when the user wants social posts, threads, scripts, content calendars, or one source asset adapted cleanly across platforms.

affaan-m/ECC

Multi-platform content distribution across X, LinkedIn, Threads, and Bluesky. Adapts content per platform using content-engine patterns. Never posts identical content cross-platform. Use when the user wants to distribute content across social platforms.

affaan-m/fal-ai-media

Unified media generation via fal.ai MCP — image, video, and audio. Covers text-to-image (Nano Banana), text/image-to-video (Seedance, Kling, Veo 3), text-to-speech (CSM-1B), and video-to-audio (ThinkSound). Use when the user wants to generate images, videos, or audio with AI.

affaan-m/manim-video

日本語翻訳:このファイルは manim-video 用の日本語翻訳が必要です

affaan-m/remotion-video-creation

Remotion のベストプラクティス - React で動画を作成する。3D、アニメーション、音声、字幕、チャート、トランジションなどをカバーするドメイン固有の29のルール。

affaan-m/video-editing

AI-assisted video editing workflows for cutting, structuring, and augmenting real footage. Covers the full pipeline from raw capture through FFmpeg, Remotion, ElevenLabs, fal.ai, and final polish in Descript or CapCut. Use when the user wants to edit video, cut footage, create vlogs, or build video content.

agent-architecture-audit

Full-stack diagnostic for agent and LLM applications. Audits the 12-layer agent stack for wrapper regression, memory pollution, tool discipline failures, hidden repair loops, and rendering corruption. Produces severity-ranked findings with code-first fixes. Essential for developers building agent applications, autonomous loops, or any LLM-powered feature. Use when an agent or LLM feature misbehaves and the failing layer is unknown, or before shipping an agent stack.

agent-eval

Head-to-head comparison of coding agents (Claude Code, Aider, Codex, etc.) on custom tasks with pass rate, cost, time, and consistency metrics. Use when choosing between coding agents, or when a change to an agent setup needs measured pass rate, cost, and time rather than an impression.

agent-harness-construction

Design and optimize AI agent action spaces, tool definitions, and observation formatting for higher completion rates. Use when defining or revising an agent

agentic-engineering

Operate as an agentic engineer using eval-first execution, decomposition, and cost-aware model routing. Use when planning or executing engineering work that agents will carry out end to end.

agentic-os

Build persistent multi-agent operating systems on Claude Code. Covers kernel architecture, specialist agents, slash commands, file-based memory, scheduled automation, and state management without external databases. Use when building a persistent multi-agent system on Claude Code with its own memory, commands, and scheduling.

agent-introspection-debugging

Structured self-debugging workflow for AI agent failures using capture, diagnosis, contained recovery, and introspection reports. Use when an agent run fails and you need a reproducible diagnosis instead of a retry.

agent-payment-x402

Add x402 payment execution to AI agents with per-task budgets, spending controls, and non-custodial wallets. Supports Base through agentwallet-sdk and X Layer through OKX Payments / OKX Agent Payments Protocol. Use when an agent must pay for something itself and needs per-task budgets, spending controls, and a non-custodial wallet.

agent-self-evaluation

Use after completing any non-trivial task. The agent self-rates its output on 5 axes — accuracy, completeness, clarity, actionability, conciseness — with concrete evidence per criterion. Produces a structured 1-5 scorecard with specific improvement suggestions.

agent-sort

Build an evidence-backed ECC install plan for a specific repo by sorting skills, commands, rules, hooks, and extras into DAILY vs LIBRARY buckets using parallel repo-aware review passes. Use when ECC should be trimmed to what a project actually needs instead of loading the full bundle.

ai-first-engineering

Engineering operating model for teams where AI agents generate a large share of implementation output. Use when setting team process, review gates, or ownership rules for a codebase largely written by agents.

ai-regression-testing

Regression testing strategies for AI-assisted development. Sandbox-mode API testing without database dependencies, automated bug-check workflows, and patterns to catch AI blind spots where the same model writes and reviews code. Use when adding regression coverage to AI-assisted code, or when the same model both wrote and reviewed a change.

android-clean-architecture

Clean Architecture patterns for Android and Kotlin Multiplatform projects — module structure, dependency rules, UseCases, Repositories, and data layer patterns. Use when structuring modules, layers, or data flow in an Android or KMP project.

angular-developer

Generates Angular code and provides architectural guidance. Trigger when creating projects, components, or services, or for best practices on reactivity (signals, linkedSignal, resource), forms, dependency injection, routing, SSR, accessibility (ARIA), animations, styling (component styles, Tailwind CSS), testing, or CLI tooling.

Skills associés