能力折旧表(skill-auditor)
モデルを切り替えた時、インストール済みの skill / プラグインはエラーを出さず、こっそりと性能が低下するだけです。この skill は「性能低下」を測定可能な数字に変換します。
三つの判断、それぞれの根拠
| ユーザーの質問 | 判定方法 | 重要な前提条件 |
|---|---|---|
| 能力は退化したか? | 同一の golden set を新しいモデルで再実行し、合格率の低下が 20pp 以上かつ方向が一致していること | フィンガープリントは変わっていないこと。フィンガープリントが変わった場合は「改変された」のであって、退化ではない |
| 新しい skill / プラグインは使いやすいか? | アブレーション比較(あり/なし)+ 採用率で正味利益を計算 | 比較対象がなければ「なんとなく良い」に過ぎない |
| 自分に合っているか? | トリガー精度(トリガーすべき時にトリガーし、そうでない時はしない)+ 環境照合 + スタイル基準 | 実際の履歴プロンプトを使用し、想像上のものは使わない |
操作方法
プラグインがツールを登録している場合は、ツールを直接使用します(これが最優先):
skill_audit_status— 減価償却表:フィンガープリント / ベースライン合格率 / risk / 判定skill_audit_recommend— 強 / 観察 / 未検証 / 低下 / 削除候補、5段階skill_audit_check— 現在のモデルが前回の回帰ベースラインから変わったかどうかskill_audit_scan— 新しいものをインストールした後にアセットを再発見するskill_audit_suggest— ユーザーのニーズをカバーするアセットがない場合、何を補うべきか提案する
ツール面がない場合(例:skill のみがインストールされているホスト)、CLI を使用します:
python <data-dir>/scripts/console.py --host deepseek status
python <data-dir>/scripts/console.py --host deepseek recommend
python <data-dir>/scripts/console.py --host workbuddy status --root ~/.workbuddy-ai/skills
<data-dir> のデフォルトは ~/.dsh/skill-auditor(環境変数 SKILL_AUDITOR_HOME で上書き可能)。エンジンは純粋な標準ライブラリ Python 3.8+ で、サードパーティ依存関係はありません。
ユーザーが利用可能な skill / プラグインを持っていない場合
これは本 skill の能動的仕組みであり、ユーザーが質問してくるのを待ってはいけません:
- 最初にインストール済みレジストリを確認する —— カバー済みのものがあれば新規追加を推奨しない(重複インストールを避けるため);
- 本当にない場合 →
skill_audit_suggest --need "<一言でニーズ>"; - 出力は「新規追加推奨 + 検索キーワード」で、インストールはユーザーが確認し、自動ではインストールしない。
厳格な制約(必ずそのまま伝えること、結論として言い換えてはいけない)
- K=1 のベースラインは自己評価であり、統計的な結論ではない。「退化」と判定するには K≥3 が必要。
- golden set には合成サンプルが含まれる場合がある(ユーザーの履歴が不足している場合)。合成サンプルは「構造が正しいか」をテストできるが、「あなたらしさ」は測定できない。これらのサンプルはファイル内で
"synthetic": trueとマークされる。 riskは「行数 + ツール依存性」に基づく保守面の代理指標であり、価値を表すものではない。高 risk でも削除すべきとは限らない。- 削除、インストールは必ず確認を取ること;削除の優先順位は「無効化/アーカイブ」で、ユーザーに知らせずに削除しない。
- 低下の原因は4つのカテゴリのみで、それ以上拡張しない:ツール呼び出しエラー → ツール説明を修正;出力構造は正しいが内容が間違っている → インストラクションを書き直す;トリガーすべき時にトリガーしない → トリガー説明を変更;中間は全て正しいが最終結果が間違っている → その時はじめてモデル能力の回帰の可能性がある。
判定後のアクション
| 判定 | アクション |
|---|---|
| strong | 保持し、トップに推奨表示可能 |
| watch | 保持し、次回のモデル変更時に優先して再実行 |
| unverified | まず golden set(3–5 個の実際のプロンプト)を作成してから判定、当面は削除しない |
| degraded | まず原因を特定し、書き直すか無効化するかを決定;直接削除しない |
| prune-candidate | ベースラインなし + 保守面が非常に高い → 評価を推奨、自動では削除しない |