Communityコーディング&開発github.com

Zhr65/SkillFresh

能力折旧表。当用户询问已安装skill/插件是否过时、模型更换后哪些能力退化、应删除或补充哪些内容、以及某个skill的实际价值时使用。跨宿主(DSH插件/WorkBuddy、Claude Code、Codex的skill),基于能力指纹和golden set回归进行客观评估。

SkillFresh とは?

SkillFresh(能力折旧表)是一个专为AI代理用户设计的skill,用于解决模型更新或插件变更后,已安装skill/插件功能退化却无明确报错的问题。它通过能力指纹(fingerprint)和golden set回归测试,将隐性退化量化为可观测的数字指标,帮助用户做出保留、降级或淘汰的决策。支持DSH插件、WorkBuddy、Claude Code、Codex等宿主平台,并提供CLI或工具接口两种操作方式。核心机制包括:对比新旧模型在相同golden set上的通过率、消融对照分析净收益、以及基于真实历史prompt的触发精度评估。输出结果分为strong、watch、unverified、degraded、prune-candidate五档判定,并辅助生成推荐操作,如保留、重写、停用或归档。注意,该skill强制要求多基线验证(K≥3)以降低自评偏差,并明确区分合成样本与用户真实样本的作用——前者仅用于结构正确性测试,无法评估个性化匹配度。

対応✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/Zhr65/SkillFresh/tree/HEAD/npm/skill

Installed? Explore more コーディング&開発 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

能力折旧表(skill-auditor)

モデルを切り替えた時、インストール済みの skill / プラグインはエラーを出さず、こっそりと性能が低下するだけです。この skill は「性能低下」を測定可能な数字に変換します。

三つの判断、それぞれの根拠

ユーザーの質問判定方法重要な前提条件
能力は退化したか?同一の golden set を新しいモデルで再実行し、合格率の低下が 20pp 以上かつ方向が一致していることフィンガープリントは変わっていないこと。フィンガープリントが変わった場合は「改変された」のであって、退化ではない
新しい skill / プラグインは使いやすいか?アブレーション比較(あり/なし)+ 採用率で正味利益を計算比較対象がなければ「なんとなく良い」に過ぎない
自分に合っているか?トリガー精度(トリガーすべき時にトリガーし、そうでない時はしない)+ 環境照合 + スタイル基準実際の履歴プロンプトを使用し、想像上のものは使わない

操作方法

プラグインがツールを登録している場合は、ツールを直接使用します(これが最優先):

  • skill_audit_status — 減価償却表:フィンガープリント / ベースライン合格率 / risk / 判定
  • skill_audit_recommend — 強 / 観察 / 未検証 / 低下 / 削除候補、5段階
  • skill_audit_check — 現在のモデルが前回の回帰ベースラインから変わったかどうか
  • skill_audit_scan — 新しいものをインストールした後にアセットを再発見する
  • skill_audit_suggest — ユーザーのニーズをカバーするアセットがない場合、何を補うべきか提案する

ツール面がない場合(例:skill のみがインストールされているホスト)、CLI を使用します:

python <data-dir>/scripts/console.py --host deepseek status
python <data-dir>/scripts/console.py --host deepseek recommend
python <data-dir>/scripts/console.py --host workbuddy status --root ~/.workbuddy-ai/skills

<data-dir> のデフォルトは ~/.dsh/skill-auditor(環境変数 SKILL_AUDITOR_HOME で上書き可能)。エンジンは純粋な標準ライブラリ Python 3.8+ で、サードパーティ依存関係はありません。

ユーザーが利用可能な skill / プラグインを持っていない場合

これは本 skill の能動的仕組みであり、ユーザーが質問してくるのを待ってはいけません:

  1. 最初にインストール済みレジストリを確認する —— カバー済みのものがあれば新規追加を推奨しない(重複インストールを避けるため);
  2. 本当にない場合 → skill_audit_suggest --need "<一言でニーズ>";
  3. 出力は「新規追加推奨 + 検索キーワード」で、インストールはユーザーが確認し、自動ではインストールしない。

厳格な制約(必ずそのまま伝えること、結論として言い換えてはいけない)

  • K=1 のベースラインは自己評価であり、統計的な結論ではない。「退化」と判定するには K≥3 が必要。
  • golden set には合成サンプルが含まれる場合がある(ユーザーの履歴が不足している場合)。合成サンプルは「構造が正しいか」をテストできるが、「あなたらしさ」は測定できない。これらのサンプルはファイル内で "synthetic": true とマークされる。
  • risk は「行数 + ツール依存性」に基づく保守面の代理指標であり、価値を表すものではない。高 risk でも削除すべきとは限らない。
  • 削除、インストールは必ず確認を取ること;削除の優先順位は「無効化/アーカイブ」で、ユーザーに知らせずに削除しない。
  • 低下の原因は4つのカテゴリのみで、それ以上拡張しない:ツール呼び出しエラー → ツール説明を修正;出力構造は正しいが内容が間違っている → インストラクションを書き直す;トリガーすべき時にトリガーしない → トリガー説明を変更;中間は全て正しいが最終結果が間違っている → その時はじめてモデル能力の回帰の可能性がある。

判定後のアクション

判定アクション
strong保持し、トップに推奨表示可能
watch保持し、次回のモデル変更時に優先して再実行
unverifiedまず golden set(3–5 個の実際のプロンプト)を作成してから判定、当面は削除しない
degradedまず原因を特定し、書き直すか無効化するかを決定;直接削除しない
prune-candidateベースラインなし + 保守面が非常に高い → 評価を推奨、自動では削除しない

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

関連スキル