Anyesh/skillprobe

skillprobe とは？

Anyesh/skillprobe は、Claude Code や Cursor などの AI コーディングツールのスキルを自動的にエンドツーエンドでテストするためのツールです。このスキルは、Claude Code と Cursor をサブプロセスとして起動し、実際の開発ワークスペース内で定義されたシナリオを実行します。テストは、モデルが特定のコマンドを実行する、ファイルを作成する、あるいは期待通りの出力を生成するなど、実際の動作をアサートすることで検証を行います。これにより、スキルの開発者はコード変更によるリグレッションを早期に発見し、スキルの品質を担保できます。主なプラットフォームは Claude Code と Cursor ですが、他のコマンドラインから操作可能な AI コーディングエージェントにも応用可能な設計です。内部では、サブプロセスのライフサイクル管理、シナリオのステップ実行、アサーションの評価を行い、結果をレポートとして出力します。