Communitygithub.com

UiPath/check-skill

Claude Codeスキルの有効化をテストするためのコーダー評価（coder-eval）スイートを生成し実行します。ユーザーがスキルがトリガーされるかどうか尋ねたり、スキルの有効化をテストしたい場合や、スキルが静かに発動しなくなったことを懸念している場合に使用します。

check-skill とは？

このスキルは、Claude Codeスキルが適切にトリガーされるかを検証するための**coder-eval**アクティベーションスイートを生成・実行するためのツールです。スキルのトリガーは主にSKILL.mdのフロントマター内のdescriptionフィールドに依存するため、このスキルは実際のユーザーリクエストを用いてラベル付きデータセットを作成し、エージェントを実行してスキルが実際に発動されたかをスコアリングします。 主な機能は、対象スキルの特定、既存のテストスイートの確認、ポジティブ・ディストラクター（妨害）行の設計、スイートファイルの生成、隔離されたサンドボックス環境での実行、結果の解釈とレポートです。特にスキル名の衝突やリスト内での記述の切り捨て、エージェントへの露出に関する問題を検出し、改善を提案します。 対応プラットフォームはClaude Code（Skillツール）および他のエージェント（Codexなど）で、エージェント非依存の基準を使用して幅広い環境で動作します。

対応✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/UiPath/coder_eval/tree/main/plugins/coder-eval/skills/check-skill
オリジナルを見る→すべてのスキルを見る

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

OpenAIChatGPTClaudeClaudeGeminiGeminiGrokGrokPerplexityPerplexityDeepSeekDeepSeek

ドキュメント

スキルアクティベーションチェック

スキルは、モデルが適切なタイミングでそれを利用して初めてその価値を発揮します。 その判断はほぼ完全にスキルのフロントマター description から行われます。つまり、「自分のスキルはトリガーされるか？」は測定可能な質問であり、これがその測定方法です。つまり、ラベル付きのユーザーリクエストセットを構築し、各リクエストに対して実際のエージェントを実行し、スキルが実際に使用されたかをスコアリングします。

ユーザーのリクエストは次の通りです: $ARGUMENTS

ステップ1 — 対象スキルを特定する

$ARGUMENTS は、SKILL.md へのパス、スキルのディレクトリへのパス、スキル名、または空のいずれかです。

  • 空: .claude/skills/*/SKILL.md と **/skills/*/SKILL.md をグロブします。1つ一致 → それを使用します。複数 → リスト表示してどれかを尋ねます。なし → その旨を伝えて停止します。
  • ディレクトリ: その中の SKILL.md を使用します。
  • 名前: 一致するスキルディレクトリを見つけます。

ベアスキル名は SKILL.md を含むディレクトリ名です。フロントマターの description を読み、それを目の前に置いてください。その文字列がモデルの照合対象となるため、行の設計の主要な入力であり、最終的に編集を提案する対象となります。

その際、長さも測定してください。2つの独立した予算がそれを切り詰め、そのどちらかが低い再現率の結果を生み出し、それはまるで悪い表現のように見えます。

  1. スキルごとの切り詰め。 description と when_to_use は連結され、固定の文字数予算でカットされます — 1,536文字、skillListingMaxDescChars 設定で構成可能。カットオフを超えたトリガーテキストはアクティベーションにまったく影響を与えないため、存在しないも同然です。
  2. リスト全体の予算。これはアクティベーションスイートを実行するリポジトリほど重要になります。 リストには常にすべてのスキル名が含まれますが、その合計文字予算はモデルのコンテキストウィンドウの約1% で、ユーザーがインストールしたすべてのスキルで共有されます。オーバーフローすると、Claude Codeは最も使用頻度の低いスキルから順に説明を削除します。

2つ目の点には、明確に述べる価値のある結果があります。多くのスキルを持つリポジトリでは、スキルが完全に良好な説明を持っていても、その説明がリストに含まれなかったために、ほぼゼロの再現率を記録する可能性があります。その場合、表現を書き換えても何も解決しません。そして削除順序は最も使用頻度の低いものからなので、新しく作成されたスキル（定義上ほとんど呼び出されず、まさにこのスイートを実行する対象）が最も犠牲になりやすいです。これはテスト対象のスキルに対する体系的なバイアスです。

リストに問題がある場合の対策: skillListingBudgetFraction（デフォルト1%）、SLASH_COMMAND_TOOL_CHAR_BUDGET 環境変数（固定文字数）、および skillOverrides を `

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

UiPath/analyze

Analyze a finished coder-eval run and write analysis.md — cluster failures into systemic patterns and recommend fixes. Use when the user wants to know why a run failed, what regressed or got worse since a previous run, what to fix, or what a run says about their tasks.

UiPath/ci

Generate a GitHub Actions workflow that runs a coder-eval suite as a CI gate or on a schedule, using the published composite action — with the agent runtime, credentials, JUnit output and the run reports wired correctly.

UiPath/init

Set up coder-eval in this repository — scan for what is worth evaluating (Claude Code skills, an MCP server, a CLI), then scaffold a task directory with one real task and the command to run it.

UiPath/lint-tasks

Review existing coder-eval task YAML — find criteria that cannot fail, prompts that leak the answer, and near-duplicate tasks, each with a fix. Read-only. Use when the user wants existing tasks reviewed, linted, audited, or checked for gaps.

UiPath/task

Turn a natural-language description into coder-eval task YAML — minimal prompts, weighted criteria that check output content, validated with `coder-eval plan`. Use when the user wants to write, add, or generate an evaluation task.

関連スキル

steipete/sag

ElevenLabs text-to-speech with mac-style say UX.

community

steipete/oracle

Oracle CLI second-model review/debug/refactor/design with selected files, dry-run token checks, API or browser engine.

community

steipete/peekaboo

Capture and automate macOS UI with the Peekaboo CLI.

community

mattpocock/design-an-interface

Generate multiple radically different interface designs for a module using parallel sub-agents. Use when user wants to design an API, explore interface options, compare module shapes, or mentions "design it twice".

community

mattpocock/prototype

Build a throwaway prototype to flesh out a design — a runnable terminal app for state/business-logic questions, or several radically different UI variations toggleable from one route.

community

mattpocock/grill-me

Interview the user relentlessly about a plan or design until reaching shared understanding, resolving each branch of the decision tree. Use when user wants to stress-test a plan, get grilled on their design, or mentions "grill me".

community