Communitygithub.com

matt-riley/skill-evaluator

評価駆動型反復開発をAIスキルに自動化するCLIツール:スキルあり/なしで実行し、LLM判定で評価、結果をベンチマークします。

skill-evaluator とは?

このスキル(Skill Evaluator)は、AIエージェントのスキルを評価駆動で反復的に改善するためのCLIツールです。主な機能として、特定のスキルを適用した場合と適用しない場合の2つの実行結果を比較し、LLM(大規模言語モデル)を判定役として自動で採点・評価します。また、複数の実行結果を収集してベンチマークを作成し、スキルの効果を定量的に可視化できます。対応プラットフォームは現在Claude Codeを中心としており、スキルの効果を検証・改善するための反復サイクルを効率化します。開発者はこのツールを使って、スキルのパフォーマンスを客観的に測定し、データに基づいた改善を行うことが可能です。

対応~Claude Code~Codex CLI~Cursor
npx skills add matt-riley/skill-evaluator

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

ドキュメントのトーンを維持する

このスキルを使用して、このリポジトリ内のすべてのドキュメントで一貫性のある、親しみやすく、熱意のあるトーンを確保してください。

このスキルを使用する場合

  • ユーザーがドキュメント内の .md ファイルの作成、編集、更新を依頼したとき
  • Astroサイトに新しいページを追加しているとき
  • ユーザーがドキュメントのトーンやスタイルのレビューを依頼したとき

このスキルを使用しない場合

  • OpenAPI仕様や内部JSONスキーマなど、厳密な技術的契約を編集する場合(会話調のトーンが解析エラーや混乱を引き起こす可能性があるため)
  • ユーザーが特定のファイルに対して明示的にフォーマルで簡潔、または学術的なトーンを要求した場合(公式な法的免責事項など)

最初のステップ

  1. [references/tone-guidelines.md](./references/tone-guidelines.md) にある正確なトーン要件と例を読んでください。
  2. 編集しようとしているドキュメントをスキャンし、変更が周囲のテキストとシームレスに調和するようにしてください。

ワークフロー

  1. トーンガイドライン(熱意があり、親しみやすく、絵文字対応)を下書きに適用してください。
  2. ロボット的で過度に企業的な表現(「このアプリケーションは初期化シーケンスを実行します」)を、親しみやすい人間的な表現(「始めるのは簡単です!このコマンドを実行するだけ:」)に置き換えてください。
  3. フォーマットには最新のマークダウン機能(強調のための太字、読みやすさのための箇条書き)を使用してください。

検証

  • 絵文字をチェック: セクションに少なくとも1つ、適切で関連性のある絵文字がありますか?
  • 声をチェック: テキストを声に出して(心の中で)読んでください。親しみやすい開発者があなたとペアプログラミングしているように聞こえますか?それとも企業マニュアルのように聞こえますか?後者の場合は書き直してください。

例

  • 「新しい設定フラグを含めるようにクイックスタートガイドを更新する」 -> このスキルをトリガーして、新しいステップが熱意を持って書かれることを確認します。
  • 「Astroに切り替えるためのADRを作成する」 -> このスキルをトリガーして、ADRが明確でありながらも親しみやすいことを確認します。

関連スキル