quorum は何をしますか？
高リスクなAIスキル評価のためのハイブリッドフレームワークを実装したマルチエージェントシステム（MAS）。分析的ルーブリックと敵対的エージェント討論を組み合わせ、複雑な認知能力の監査可能で妥当かつ信頼性の高い評価を提供します。
概要
このスキルは、単一の評価手法に依存せず、複数の視点からの分析と議論を通じて、AIエージェントの真の能力を測定します。以下の2つの主要な評価モジュールから構成されます。
- 分析的ルーブリック評価: 事前に定義された明確な基準に基づき、エージェントの応答を構造的に採点します。
- 敵対的エージェント討論: 複数のエージェントが互いの回答に対して批判的議論を行い、弱点や隠れた強みを浮き彫りにします。
ユースケース
- AIエージェントのベンチマーク評価
- 複雑な問題解決能力の検証
- 教育・トレーニング環境でのスキルアセスメント
- 研究開発におけるAIモデルの比較分析
対応プラットフォーム
- Claude Code
- Cursor
- Codex
- その他のマルチエージェント対応AIプラットフォーム
使い方
# スキルをインポート
import { quorum } from 'launis/quorum';
# 評価の実行
const result = await quorum.evaluate({
rubric: 'customRubric',
agents: ['agent1', 'agent2', 'agent3'],
task: '複雑な問題の解決',
});
console.log(result);
設定
| パラメータ | 説明 | デフォルト値 |
|---|---|---|
rubric | 使用するルーブリックのパス | defaultRubric.json |
agents | 討論に参加するエージェントのリスト | [] |
iterations | 討論のラウンド数 | 3 |
threshold | 合格とみなすスコアの閾値 | 0.7 |
参考文献
ライセンス
このスキルはMITライセンスの下で公開されています。詳細は LICENSE ファイルを参照してください。