MrBinnacle/skill-harness

skill-harness は何をしますか？

LLMスキル向けの句アブレーション差分テスト。スキルアーティファクトの各句が測定可能な方向性効果を生み出すかどうかを測定します。プリアルファ版。

概要

このツールは、スキルファイル内の各句（クローズ）を順次除去し、それぞれの除去がスキルの出力に統計的に有意な変化をもたらすかどうかをテストします。これにより、スキルの各構成要素が実際に機能しているかどうかを評価できます。

使用方法

python harness.py --skill <path_to_skill.md> --tests <path_to_test_cases.json>

引数

• --skill: テスト対象のスキルファイル（Markdown形式）へのパス
• --tests: テストケースを定義したJSONファイルへのパス

テストケース形式

テストケースはJSONファイルで指定します。各テストケースには、入力プロンプトと期待される出力の方向（positive/negative）を含める必要があります。

[
  {
    "prompt": "example prompt",
    "expected_direction": "positive"
  },
  {
    "prompt": "another prompt",
    "expected_direction": "negative"
  }
]

出力

各句のアブレーション結果が表示されます。結果には、句が除去された場合のスキルの出力変化と、その統計的有意性が含まれます。

注意事項

• このツールはプリアルファ版です。機能は予告なく変更される可能性があります。
• スキルファイル内のすべての句がテストされるわけではありません。一部の句（例えば、コードブロック内のコメント）は除外される場合があります。

ライセンス

MIT