skill-harness 是做什么的?
对LLM技能进行子句消融差分测试,衡量技能工件的每个子句是否产生可测量的方向性影响。预研阶段。
概述
skill-harness 是一个用于LLM技能子句消融差分测试的工具。它通过逐一移除技能文档中的每个子句,并对比移除前后的输出差异,来测量每个子句对AI行为产生的方向性影响。
使用场景
- 调试技能工件:确定哪些指令或描述对AI输出至关重要。
- 优化提示词工程:通过量化每个子句的影响,精简和优化提示词。
- 理解AI行为:深入理解不同指令如何影响AI的响应。
当前状态
- 预研阶段:该工具仍处于早期开发阶段,可能存在bug和功能缺失。
- 预期功能:未来可能支持更复杂的测试模式、统计分析和多技能对比。
贡献
欢迎社区贡献!请参考仓库中的CONTRIBUTING.md文件了解如何参与开发。