adversarial-openemr は何をしますか？
マルチエージェント敵対的評価プラットフォーム。5つのエージェント、50のシード攻撃、2層LLM Judge（Haiku 4.5 → Sonnet 4.5）、決定論的回帰ハーネスを使用して、稼働中のOpenEMR Clinical Co-Pilotを継続的にレッドチームテストします。
概要
このスキルは、OpenEMR Clinical Co-Pilotのセキュリティと信頼性を自動的に評価するためのフレームワークです。マルチエージェントシステムと高度なLLM Judgeを組み合わせることで、システムの脆弱性を体系的に発見します。
主な機能
- 5つの専用エージェント: 各エージェントは異なる攻撃ベクトルを担当
- 50のシード攻撃: 多様な攻撃パターンを自動生成
- 2層LLM Judge: Haiku 4.5による一次フィルタリング、Sonnet 4.5による最終判定
- 決定論的回帰ハーネス: テスト結果の再現性を保証
使用方法
# リポジトリのクローン
git clone https://github.com/heilashahidi/adversarial-openemr.git
cd adversarial-openemr
# 依存関係のインストール
pip install -r requirements.txt
# 評価の実行
python run_evaluation.py --config config.yaml
設定
| パラメータ | 説明 | デフォルト値 |
|---|---|---|
agents | 使用するエージェント数 | 5 |
seeds | 初期攻撃シード数 | 50 |
judge_model | 一次Judgeモデル | haiku-4.5 |
final_judge | 最終Judgeモデル | sonnet-4.5 |
アーキテクチャ
[攻撃シード] → [5エージェント] → [結果収集] → [Haiku 4.5 Judge] → [Sonnet 4.5 Judge] → [レポート]
ライセンス
MIT
貢献
プルリクエストとissueを歓迎します。大きな変更を加える前に、まずissueで議論してください。