skill-judge は何をしますか？
エージェントスキルの設計品質を公式仕様とベストプラクティスに照らして評価します。SKILL.mdファイルやスキルパッケージのレビュー、監査、改善時に使用します。多次元スコアリングと実用的な改善提案を提供します。
はじめに
skill-judge は、AIエージェントスキルの品質を評価するためのコマンドラインツールです。このツールは、スキルの設計が公式仕様とベストプラクティスに準拠しているかどうかをチェックし、複数の次元でスコアを提供します。
主な機能
- 多次元評価: 明確性、一貫性、完全性、メンテナンス性など、複数の品質次元でスコアリング
- 具体的な改善提案: 各問題点に対して具体的な改善方法を提示
- 公式仕様準拠: 公開されているエージェントスキル仕様に基づいた客観的な評価
- 簡単な使用法:
skill-judge <path/to/SKILL.md>を実行するだけ
インストール方法
# npmを使用する場合
npm install -g @softaworks/skill-judge
# またはソースからビルド
gh repo clone softaworks/skill-judge
cd skill-judge
npm install
npm run build
使い方
# 基本的な使い方
skill-judge path/to/SKILL.md
# 詳細な出力を表示
skill-judge path/to/SKILL.md --verbose
# JSON形式で出力
skill-judge path/to/SKILL.md --format json
評価の次元
| 次元 | 説明 | 重み |
|---|---|---|
| 明確性 | 目的、使用方法、制限事項が明確に記述されているか | 25% |
| 一貫性 | 用語、書式、スタイルが一貫しているか | 20% |
| 完全性 | 必要なセクションがすべて含まれているか | 30% |
| メンテナンス性 | スキルの更新や保守が容易か | 15% |
| 実用性 | 実際のユースケースで有用か | 10% |
評価レポートの例
評価レポート: path/to/SKILL.md
総合スコア: 78/100
次元別スコア:
- 明確性: 20/25
- 一貫性: 15/20
- 完全性: 25/30
- メンテナンス性: 10/15
- 実用性: 8/10
改善提案:
1. [重要] セクション「環境変数」が不足しています
2. [中程度] インストール手順が不完全です
3. [軽微] 用語「エージェント」と「AIエージェント」が混在しています
カスタマイズ
評価基準をカスタマイズするには、プロジェクトルートに .skill-judge.json を作成します。
{
"dimensions": ["clarity", "consistency", "completeness"],
"weights": {
"clarity": 0.3,
"consistency": 0.3,
"completeness": 0.4
},
"templates": {
"required_sections": ["概要", "インストール", "使用方法", "API"]
}
}
制限事項
- 評価はSKILL.mdの内容に基づいて行われ、スキルの実行時動作は評価しません
- カスタム評価基準は現在ベータ機能です
コントリビューション
バグ報告や機能リクエストは GitHub Issues へお願いします。
ライセンス
MIT