Community程式設計與開發github.com

adewale/skill-eval-harness

Agent 技能評估框架,支援配對變體、追蹤工件與執行器適配器

skill-eval-harness 是什麼?

此技能提供一個評估框架,專門用於測試和比較 AI Agent 技能的配對變體(如 A/B 測試或消融實驗)。它能夠追蹤執行過程中的詳細工件(artifacts),包括日誌、結果與元數據,並透過執行器適配器(runner adapters)支援多種平台(如 Claude Code、Cursor、Codex)。有助於開發者在不同技能版本之間進行系統化比較,確保品質並加速迭代。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add adewale/skill-eval-harness

Installed? Explore more 程式設計與開發 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

示範審閱者

一個刻意簡化的技能,僅用於展示評估框架的端到端功能(包含具體的消融實驗)。它包含兩個關鍵部分 —— 一個嚴重性規則和一個檢查清單參考 —— 每個部分分別被下方的消融實驗鎖定。

嚴重性規則

將每個發現標記為以下之一:阻塞、次要、或乾淨。明確標明標籤,讓讀者能一目了然地進行分類。缺少測試就上線的變更至少應歸類為阻塞。

證據

為每個發現提供具體證據,並遵循共用的審查檢查清單:請參閱 審查檢查清單。

相關技能