Communitygithub.com

MrBinnacle/skill-harness

对LLM技能进行子句消融差分测试,衡量技能工件的每个子句是否产生可测量的方向性影响。预研阶段。

skill-harness 是什么?

该技能旨在通过子句消融差分测试来评估LLM技能工件的各个组件。它通过系统地移除(消融)技能文档中的每个子句或指令,并观察移除前后AI行为的变化,从而量化每个子句对最终输出产生的方向性影响。这对于调试和优化提示词工程、理解哪些指令对AI行为至关重要非常有用。目前该技能处于预研阶段,意味着它可能不稳定且功能有限,但为未来更成熟的技能测试框架奠定了基础。它主要面向使用类似Claude Code、Cursor等工具进行LLM技能开发的开发者和AI研究人员。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add MrBinnacle/skill-harness

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

skill-harness 是做什么的?

对LLM技能进行子句消融差分测试,衡量技能工件的每个子句是否产生可测量的方向性影响。预研阶段。

概述

skill-harness 是一个用于LLM技能子句消融差分测试的工具。它通过逐一移除技能文档中的每个子句,并对比移除前后的输出差异,来测量每个子句对AI行为产生的方向性影响。

使用场景

  • 调试技能工件:确定哪些指令或描述对AI输出至关重要。
  • 优化提示词工程:通过量化每个子句的影响,精简和优化提示词。
  • 理解AI行为:深入理解不同指令如何影响AI的响应。

当前状态

  • 预研阶段:该工具仍处于早期开发阶段,可能存在bug和功能缺失。
  • 预期功能:未来可能支持更复杂的测试模式、统计分析和多技能对比。

贡献

欢迎社区贡献!请参考仓库中的CONTRIBUTING.md文件了解如何参与开发。

相关技能