能力折舊表(skill-auditor) 是做什麼的?
模型換代時,裝過的 skill / 插件不會報錯,只會悄悄變差。這個 skill 把「變差」變成可測的數字。
三個判斷,各自的證據
| 使用者的問題 | 怎麼判 | 關鍵前提 |
|---|---|---|
| 能力退化了嗎? | 同一 golden set 在新模型上重跑,通過率降幅 ≥20pp 且方向一致 | 指紋沒變。指紋變了就是「被改過」,不是退化 |
| 新 skill/插件好用嗎? | 消融對照(有它 / 沒它)+ 採用率,算淨收益 | 沒有對照,只有「感覺不錯」 |
| 符合我本人嗎? | 觸發精度(該觸發時觸發、不該觸發時不觸發)+ 環境對帳 + 風格基準 | 用真實歷史 prompt,不用想像出來的 |
怎麼調
插件已註冊工具時,直接用工具(這是首選):
skill_audit_status— 折舊表:指紋 / 基線通過率 / risk / 判定skill_audit_recommend— 強 / 觀察 / 未驗證 / 已降級 / 可選精簡,五檔skill_audit_check— 當前模型相對上次回歸基線是否變了skill_audit_scan— 裝了新東西之後重新發現資產skill_audit_suggest— 使用者的需求沒有資產能覆蓋時,該補什麼
沒有工具面(例如只裝了 skill 的宿主),走 CLI:
python <data-dir>/scripts/console.py --host deepseek status
python <data-dir>/scripts/console.py --host deepseek recommend
python <data-dir>/scripts/console.py --host workbuddy status --root ~/.workbuddy-ai/skills
<data-dir> 預設 ~/.dsh/skill-auditor(可用 SKILL_AUDITOR_HOME 覆蓋)。引擎是純標準庫 Python 3.8+,無第三方依賴。
使用者沒有可用的 skill / 插件時
這是本 skill 的主動機制,不要等使用者問:
- 先查已裝註冊表 —— 有覆蓋的就不建議新增(避免重複裝);
- 確實沒有 →
skill_audit_suggest --need "<一句話需求>"; - 輸出「建議新增 + 搜尋詞」,安裝由使用者確認,不自動裝。
硬邊界(必須照實說,不許包裝成結論)
- K=1 的基線是自評,不是統計結論。要下「退化」判決,K≥3。
- golden set 可能含合成樣本(使用者歷史不足時)。合成樣本能測「結構對不對」,測不出「像不像你」。這類樣本在檔案裡標
"synthetic": true。 risk是「行數 + 工具依賴」的維護面代理,不代表價值。高 risk 不等於該刪。- 淘汰、安裝都先確認;淘汰優先「停用 / 歸檔」,不靜默刪除。
- 降級歸因只有四類,別擴寫:工具調用報錯 → 修工具描述;輸出結構對內容錯 → 重寫指令;該觸發沒觸發 → 改觸發描述;中間全對終態錯 → 才可能是模型能力回歸。
判定後的動作
| 判定 | 動作 |
|---|---|
| strong | 保留,可置頂推薦 |
| watch | 保留,下次模型變更優先重跑 |
| unverified | 先建 golden set(3–5 條真實 prompt)再判,暫不淘汰 |
| degraded | 先歸因,再決定重寫還是停用;不直接刪 |
| prune-candidate | 無基線 + 維護面極高 → 建議評估,不自動刪 |