skillci 是做什么的?
用于 Claude 技能的持续集成工具——在多模型矩阵上进行 lint、评估和回归测试 SKILL.md 文件,并具备自我增长的评估循环,可将未覆盖的回归问题转化为永久测试用例。
特性
- 跨模型矩阵测试:在多个 Claude 模型上运行评估,确保技能在不同版本间的兼容性。
- Lint 检查:自动检查 SKILL.md 文件的语法和格式问题。
- 回归测试:针对已有测试用例进行回归验证,防止功能退化。
- 自我增长的评估循环:当发现新回归问题时,自动将其添加为永久测试用例,逐步扩大测试覆盖面。
- CI/CD 集成:可无缝接入 GitHub Actions 等持续集成平台。
快速开始
-
在你的技能仓库中安装
skillci:npm install -g @kabirnarang39/skillci -
在项目根目录创建
.skillciconfig配置文件:models: - claude-sonnet-4-20250514 - claude-3-5-sonnet-20241022 - claude-3-opus-20240229 eval_tests: tests/ -
运行 CI 流程:
skillci run
配置
配置文件 .skillciconfig 支持以下选项:
| 选项 | 描述 | 默认值 |
|---|---|---|
models | 要测试的模型列表 | ["claude-sonnet-4-20250514"] |
eval_tests | 评估测试目录 | ./tests |
lint | 是否启用 lint 检查 | true |
auto_add_regressions | 是否自动添加回归测试 | true |
使用示例
在 GitHub Actions 中集成:
name: Skill CI
on: [push, pull_request]
jobs:
ci:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Run Skill CI
run: |
npm install -g @kabirnarang39/skillci
skillci run
开发
欢迎贡献!请查阅 CONTRIBUTING.md 了解详情。
许可证
MIT