checkpoint-promotion 是做什麼的？
使用漂移預算、配對比較與遺忘檢查，在推升前對微調檢查點進行閘控。適用於訓練完成產出檢查點、決定調校模型是否發行，或已推升模型需針對更新黃金標準重新閘控時。
使用時機
- 在訓練作業完成，產出新的模型檢查點後。
- 在決定是否將經過調校的模型發佈到生產環境時。
- 當已推升的模型需要根據更新後的黃金標準資料重新進行閘控檢查時。
支援平台
- Claude Code
- Cursor
- Codex
- 其他支援自訂技能的 CLI 代理
功能說明
漂移預算
計算新檢查點與參考資料集之間的資料分佈漂移量。若漂移超過預設閾值，則會標記為不應推升。
配對比較
對新檢查點與當前生產檢查點進行逐樣本比較。透過隨機抽樣或完整資料集評估兩者之間的品質差異，並輸出比較統計數據。
遺忘檢查
確認新模型在已學習的任務上表現不會退化。若發現遺忘跡象，系統會產生警告，並建議重新訓練或調整參數。
輸出報告
執行完畢後，技能會產出包含下列內容的結構化報告：
- 漂移預算檢查結果（通過/失敗）
- 配對比較表格（含樣本指標與總體分數）
- 遺忘檢查摘要（已評估任務與退化程度）
- 最終推升建議（通過/條件性通過/攔阻）
環境變數
| 變數名稱 | 說明 | 預設值 |
|---|---|---|
CHECKPOINT_PATH | 新檢查點的路徑 | （必填） |
GOLDEN_DATASET_PATH | 黃金標準資料集路徑 | （必填） |
DRIFT_THRESHOLD | 最大容許漂移比例 | 0.05 |
COMPARISON_SAMPLE_SIZE | 配對比較取樣數 | 1000 |
注意：所有環境變數均可透過
.env檔案或直接於環境中設定。
使用範例
# 基本用法
claude skill run wshobson/checkpoint-promotion --checkpoint ./model_v2/checkpoint-1000 --golden ./data/golden
# 自訂閾值
claude skill run wshobson/checkpoint-promotion \
--checkpoint ./model_v2/checkpoint-1000 \
--golden ./data/golden \
--drift-threshold 0.03
相依性
- Python 3.9+
- 安裝
requirements.txt中的套件（請參閱存放庫） - 具備目標檢查點與資料集的存取權限
授權條款
此技能採用 MIT 授權條款。詳情請參閱存放庫中的 LICENSE 檔案。