Skill 値段の価値があるか(インストールする価値があるか?)
一言で言うと:スキルが本当に機能するのか、それとも綺麗な言葉だけかを見極めます。
マーケットプレイスにはダウンロード数が多いのにインストールしても何もしないスキルがたくさんあります。ファイルの中身は「リスクレベル」「アクセス権限」といったテンプレートの言葉だけ、あるいは作者自身が「操作の詳細は未補完」と書いているものもあります。セキュリティスキャナーはこれらを報告しません。なぜなら、盗むものは何もないが、ただ何もしないからです。
このスキルはその点をチェックします。
いつ使うか
- マーケットでインストールしようか迷っているスキルがある → 先に評価する
- インストールしたけど効果がない気がする → 無駄かどうか調べる
- 大量にインストールしたスキルを整理したい → すべて棚卸しし、スコア順に並べる
- 自分でスキルを作ったので、他の人がダウンロードして実際に使えるか確認したい → 自己チェック
使い方
pip install git+https://github.com/hsiu1214/skill-worth.git
(まだPyPIには上がっていないので、リポジトリから直接インストール)
インストール前のスキルを評価:
skill-worth check /path/to/some-skill
インストール済みの全スキルを棚卸し(WorkBuddy / Claude Code / Codex など一般的なディレクトリを自動検出):
skill-worth check
ついでにマーケット全体の状況も確認(人気スキルをダウンロードして実測、ネットワークが必要):
skill-worth market --top 30
実行後、カレントディレクトリに skill-worth-report.html が生成されます。ダブルクリックで開けます。--open をつけると直接開き、--json out.json で生データを別ファイルに保存できます。
パッケージをインストールせずに直接ソースコードを実行することもできます:
python -m skill_worth check /path/to/skill
結果の読み方
三段階:
| 段階 | 意味 | どうするか |
|---|---|---|
| インストールする価値あり(70点以上) | 動作するものがあり、何をするか明確に説明している | インストールして使う |
| 目的による(40–69点) | 空っぽではないが、欠点がある | その機能が不足していないか確認し、万能ツールだと思わないこと |
| インストールするな(40点未満) | 主張する機能に対する実装が見つからない | インストールしない。すでにインストール済みなら削除する |
段階の他に、一言の結論といくつかの理由が表示されます。理由の後には「証拠を見る」を展開でき、実際のファイル数や行数、どのファイルが見つからないかが表示されます。
判定基準
コードがない=役に立たない、ではありません。 これは最も誤解されやすい点なので、明確に説明します:
- 知識型:チェックリスト、執筆方法、診断フローなど。その価値は文字そのものにあり、コードは不要です。
skill-vetter(14万ダウンロード)は140行の純粋なドキュメントですが、完全に正常です。 - 実践型:データスクレイピング、エンジン実行、バッチ処理、API呼び出しなどを宣言している場合。これらにコードがなければ空っぽです。
判断に迷ったら、そのスキルが自分をどう説明しているか見てください:「教える」と言うなら知識型、「取得する」と言うなら実践型です。
五つの次元、加重100点満点:
| 次元 | 重み | チェック内容 |
|---|---|---|
| 実質機能 | 40 | 実行可能なコードがあるか?純ドキュメントの場合、手順/チェックリスト/例が完全か? |
| 主張と実態の一致 | 25 | 言っていることと実際が一致しているか?言及されたファイルは本当に存在するか? |
| 説明の明確さ | 15 | 一言で用途を説明できるか?トリガーキーワードが多すぎないか? |
| 安全性 | 10 | 削除、動的実行、ハードコードされたキーがあるか? |
| 保守性 | 10 | ディレクトリ構造が完全か?テンプレートの空文があるか? |
以下のいずれかに該当する場合、合計点に関係なく即座に「インストールするな」と判定します:
- 作者自身が「未実装」と明記している
- 実践的なことを宣言しているが、コードファイルが一つもない
- コードファイルがあるが、中身が
pass/TODO/ 空の関数だけ
一つだけ、警告はするが判定はしない項目:ドキュメントに書かれているツール名が現在のホストと異なる場合。ツール名はホストによって変わるため、同じスクレイピング機能でもここでは WebFetch、別の場所では web_fetch と呼ばれることがあります。これを重大な欠陥とするとプラットフォーム間で誤検出が発生するため、理由欄に記載して確認を促すだけに留めます。
実測例
| スキル | 結果 | 根拠 |
|---|---|---|
multi-search-engine(204万ダウンロード) | インストールするな | 16のエンジンを宣言しているが、スクリプトがゼロ—言っていることと実際が一致しない |
summarize(4.6万ダウンロード) | インストールするな | 2ファイル合計3.5KB、作者自身が「計画仕様から自動生成されたもので、操作の詳細は未補完」と認めている |
skill-vetter(14万ダウンロード) | インストールする価値あり | 純ドキュメントだが、4段階のレビュープロトコル+出力形式+直接実行可能なコマンドがある |
self-improving-agent(8.6万ダウンロード) | インストールする価値あり | 5つの実際のコードファイル、hookはメモリインジェクションのみ、外部接続ゼロ |
最初の2つは合計200万以上のインストール数ですが、両方とも空っぽです。ダウンロード数と品質はほぼ無関係です。
2026年10月実測のマーケットデータ(インストール数500以上の人気スキル30個をサンプリング、28個のスキャン成功):
- 24個がインストールする価値あり、1個が目的による、3個がインストールするな(11%)
- この28個の合計インストール数は55.2万回で、そのうち「インストールするな」と判定された3個は10.5万回を占める
- その3個の判定理由は一字一句同じで、すべて同じミラー同期から来ている—同じテンプレートで量産されたもの
制限
- 静的解析のみで、スキャン対象のコードは一切実行しません
- 「コードが正しいかどうか」は判断できず、「コードがあるかどうか」だけ判断できます
- 用途説明が短いが実際に優れたスキルは過小評価される可能性があります
- 逆に、説明は立派だが使いにくいスキルは過大評価される可能性があります—このツールがチェックするのは「あるかどうか」であり、「使いやすいかどうか」ではありません
プライバシー
レポート生成時、ローカルの絶対パスと内部名前空間は自動的に除去され、skillsDir は末尾の2セグメントのみ表示されます。そのまま他の人に送信できます。