Community程式設計與開發github.com

能力折舊表(skill-auditor)

當模型換代或使用者想知道已安裝的技能/插件是否過時、退化或需要調整時,透過能力指紋與黃金測試集回歸進行量化評估,支援多個AI代理宿主(如DSH插件/WorkBuddy、Claude Code、Codex)。

能力折舊表(skill-auditor) 是什麼?

這個技能(skill-auditor)專門解決模型版本升級後,原本安裝的技能或插件「悄悄變差」卻不報錯的問題。它不依賴使用者感覺,而是透過「能力指紋」與「黃金測試集(golden set)」回歸,將退化量化為可測數字。支援的用戶問題包括:技能是否過時、模型換代後哪些能力退化、該刪除或補充哪些技能、某個技能是否真正有用。 運作機制分為三層判斷: 1. **能力退化**:在同一指紋條件下,新模型上黃金測試集的通過率降幅≥20個百分點,且方向一致。 2. **新技能有效性**:透過消融對照(有/無該技能)與採納率計算淨收益。 3. **個人適配性**:基於歷史提示詞的觸發精度、環境對賬與風格基準。 工具面(如DSH插件)優先使用註冊工具(skill_audit_status, recommend, check, scan, suggest),無工具面時可透過CLI指令操作。引擎為純標準庫Python 3.8+,無第三方依賴。硬邊界包括:K=1的基線僅為自評,退化判決需K≥3;golden set可能包含合成樣本,僅能測試結構正確性,無法反映使用者風格;風險指標(risk)只代表維護成本,不代表價值。淘汰與安裝均需使用者確認,降級歸因僅限四類:工具調用錯誤、輸出結構正確但內容錯誤、該觸發未觸發、模型能力回歸。

相容平台✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/Zhr65/SkillFresh/tree/HEAD/npm/skill

Installed? Explore more 程式設計與開發 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

能力折舊表(skill-auditor) 是做什麼的?

模型換代時,裝過的 skill / 插件不會報錯,只會悄悄變差。這個 skill 把「變差」變成可測的數字。

三個判斷,各自的證據

使用者的問題怎麼判關鍵前提
能力退化了嗎?同一 golden set 在新模型上重跑,通過率降幅 ≥20pp 且方向一致指紋沒變。指紋變了就是「被改過」,不是退化
新 skill/插件好用嗎?消融對照(有它 / 沒它)+ 採用率,算淨收益沒有對照,只有「感覺不錯」
符合我本人嗎?觸發精度(該觸發時觸發、不該觸發時不觸發)+ 環境對帳 + 風格基準用真實歷史 prompt,不用想像出來的

怎麼調

插件已註冊工具時,直接用工具(這是首選):

  • skill_audit_status — 折舊表:指紋 / 基線通過率 / risk / 判定
  • skill_audit_recommend — 強 / 觀察 / 未驗證 / 已降級 / 可選精簡,五檔
  • skill_audit_check — 當前模型相對上次回歸基線是否變了
  • skill_audit_scan — 裝了新東西之後重新發現資產
  • skill_audit_suggest — 使用者的需求沒有資產能覆蓋時,該補什麼

沒有工具面(例如只裝了 skill 的宿主),走 CLI:

python <data-dir>/scripts/console.py --host deepseek status
python <data-dir>/scripts/console.py --host deepseek recommend
python <data-dir>/scripts/console.py --host workbuddy status --root ~/.workbuddy-ai/skills

<data-dir> 預設 ~/.dsh/skill-auditor(可用 SKILL_AUDITOR_HOME 覆蓋)。引擎是純標準庫 Python 3.8+,無第三方依賴。

使用者沒有可用的 skill / 插件時

這是本 skill 的主動機制,不要等使用者問:

  1. 先查已裝註冊表 —— 有覆蓋的就不建議新增(避免重複裝);
  2. 確實沒有 → skill_audit_suggest --need "<一句話需求>";
  3. 輸出「建議新增 + 搜尋詞」,安裝由使用者確認,不自動裝。

硬邊界(必須照實說,不許包裝成結論)

  • K=1 的基線是自評,不是統計結論。要下「退化」判決,K≥3。
  • golden set 可能含合成樣本(使用者歷史不足時)。合成樣本能測「結構對不對」,測不出「像不像你」。這類樣本在檔案裡標 "synthetic": true。
  • risk 是「行數 + 工具依賴」的維護面代理,不代表價值。高 risk 不等於該刪。
  • 淘汰、安裝都先確認;淘汰優先「停用 / 歸檔」,不靜默刪除。
  • 降級歸因只有四類,別擴寫:工具調用報錯 → 修工具描述;輸出結構對內容錯 → 重寫指令;該觸發沒觸發 → 改觸發描述;中間全對終態錯 → 才可能是模型能力回歸。

判定後的動作

判定動作
strong保留,可置頂推薦
watch保留,下次模型變更優先重跑
unverified先建 golden set(3–5 條真實 prompt)再判,暫不淘汰
degraded先歸因,再決定重寫還是停用;不直接刪
prune-candidate無基線 + 維護面極高 → 建議評估,不自動刪

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相關技能