skillci は何をしますか？
Claudeスキル向けCI — SKILL.mdファイルをモデルマトリックス全体でリント、評価、回帰テストし、発見された未対応の回帰を永続的なテストケースに変換する自己増殖型評価ループを備えています。
概要
sillciは、Claude Codeのスキル定義（SKILL.md）を継続的に品質管理するためのツールです。以下の機能を提供します:
- リンティング: SKILL.mdの構文や推奨パターンをチェックします。
- 評価: 複数のAIモデル（モデルマトリックス）に対してスキルを実行し、その応答を評価します。
- 回帰テスト: 新しいモデルやプロンプトで以前は正しく動作していた機能が壊れていないかを検証します。
- 自己増殖型評価ループ: 発見された未対応の回帰を自動的に新しいテストケースとして記録し、テストスイートを拡充します。
使い方
インストール
# まだ公開されていない場合、適宜インストール方法に従ってください
基本的な実行
# SKILL.mdをリントする
skillci lint path/to/SKILL.md
# モデルマトリックスに対して評価を実行する
skillci eval --matrix models.yaml
# 回帰テストを実行する
skillci regression
設定
テストマトリックスはYAMLファイルで定義します。例:
models:
- claude-3-5-sonnet-20241022
- claude-3-haiku-20240307
- claude-3-opus-20240229
自己増殖ループの仕組み
- モデルマトリックスで評価を実行
- 各モデルの応答を期待値と比較
- 回帰（応答の変化）を検出
- 未カバーの回帰を新しいテストケースとして自動追加
- 次回の評価からテストケースとして使用
関連リソース
- 元のGitHubリポジトリ: kabirnarang39/skillci（架空の例）
- Claude Codeスキルのドキュメント