Communityコーディング&開発github.com

adewale/skill-eval-harness

エージェントスキル評価ハーネス。ペアバリアント、トレースアーティファクト、ランナーアダプターを提供します。

skill-eval-harness とは?

このスキルは、AIエージェント(Claude Code、Cursor、Codexなど)のスキルを評価・比較するためのハーネス(評価フレームワーク)です。主な機能として、ペアバリアント(元のスキルと改良版のペア)の実行、トレースアーティファクト(ログや結果)の収集、およびさまざまなランナーアダプター(実行環境への適応)を提供します。このスキルを使うことで、開発者はAIエージェントのスキル変更が実際にどのような効果をもたらすかを定量的に検証できます。また、デモンストレーション用の最小限のレビュースキルも含まれており、重大度ルールとチェックリストの参照方法が示されています。

対応~Claude Code~Codex CLI~Cursor
npx skills add adewale/skill-eval-harness

Installed? Explore more コーディング&開発 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Demo Reviewer

意図的に小さなスキルであり、ハーネスをエンドツーエンドでデモンストレーションするためにのみ存在します(具体化されたアブレーションを含む)。以下に示す2つのアブレーションのそれぞれが対象とする、厳密に2つの重要な要素(重大度ルールとチェックリスト参照)を持ちます。

重大度ルール

各発見事項に、Blocking(ブロッキング)、Minor(軽微)、Clean(クリーン)のいずれかのラベルを付けます。ラベルを明示的に記載し、読者が一目でトリアージできるようにします。テストなしで出荷される変更は、少なくともBlockingとします。

エビデンス

各発見事項に具体的なエビデンスを添え、共有レビューチェックリストに従います: レビューチェックリストを参照してください。

関連スキル