Community研究&データ分析github.com

sx4im/skillcheck

🧪 エージェントスキルをA/Bテスト — SKILL.mdが実際にモデルを助けているのか、それとも単なるプラセボかを確認します。盲検評価試験、ブートストラップ信頼区間、判定結果は「HELPS(有用)」「PLACEBO(プラセボ)」「HARMS(有害)」のいずれか。Claude Code、Codex、Gemini CLI、Cursorスキルに対応。

skillcheck とは?

sx4im/skillcheckは、AIエージェント(Claude Code、Codex、Gemini CLI、Cursorなど)で使用するスキルファイル(SKILL.md)の有効性を科学的に検証するためのツールです。このツールを使用すると、スキルが実際にエージェントのパフォーマンスを向上させるのか、あるいは効果がない(プラセボ)か、有害でさえあるのかを、統計的に信頼性の高い方法で評価できます。具体的には、盲検化された評価試験を実施し、ブートストラップ法による信頼区間を計算することで、主観に左右されない客観的な判定(HELPS / PLACEBO / HARMS)を下します。開発者はこれにより、エージェントを本当に改善するスキルだけを厳選し、無駄なプロンプトや誤った指示を取り除くことができるため、より効率的で信頼性の高いAIエージェントの開発と運用が可能になります。

対応✓Claude Code✓Codex CLI✓Cursor✓Gemini CLI
npx skills add sx4im/skillcheck

Installed? Explore more 研究&データ分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

skillcheck は何をしますか?

🧪 エージェントスキルをA/Bテスト — あなたのSKILL.mdが実際にモデルを助けているのか、それとも単なるプラセボかを確認します。盲検評価試験、ブートストラップ信頼区間、判定結果は「HELPS(有用)」「PLACEBO(プラセボ)」「HARMS(有害)」のいずれか。Claude Code、Codex、Gemini CLI、Cursorスキルに対応。

関連スキル