Communitygithub.com

SamuelChien/mega-skills-collection

このスキルは高度なLLM評価(LLM-as-judgeシステム、直接スコアリング、ペアワイズ比較、ルーブリック調整、評価者バイアスの軽減、信頼度スコアリング、自動品質評価)に使用するためのものです。

mega-skills-collection とは?

このスキルは、LLMを評価者として利用した高度なLLM出力評価技術を網羅します。学術論文、業界のベストプラクティス、実践的な実装経験を統合し、信頼性の高い評価システムを構築するための実践可能なパターンを提供します。主な評価アプローチとして、客観的な基準が存在する場合に使用する直接スコアリングと、主観的な嗜好を比較するペアワイズ比較の2つを体系化しています。さらに、位置バイアスや長さバイアスなどの系統的バイアスを軽減する方法や、ルーブリック生成、信頼度キャリブレーション、評価パイプライン設計についての具体的なガイダンスを提供します。このスキルは、LLM-as- Judgeシステムの構築やデバッグ、複数モデル応答の比較、一貫した品質基準の確立に携わる開発者にとって不可欠な知識を提供します。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/SamuelChien/mega-skills-collection/tree/HEAD/advanced-evaluation

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

高度な評価

このスキルは、LLMを評価者として利用した、LLM出力の本番品質レベルの評価技術を網羅します。学術論文、業界のベストプラクティス、実践的な実装経験を統合し、信頼性の高い評価システムを構築するための実践可能なパターンを提供します。

重要な洞察: LLM-as-a-Judgeは単一の技術ではなく、それぞれが異なる評価コンテキストに適した一連のアプローチです。適切なアプローチを選択し、既知のバイアスを軽減することが、このスキルが育成する中核的な能力です。

アクティブ化のタイミング

以下の場合にこのスキルをアクティブ化してください:

  • LLM出力に対するLLM-as-judgeシステムの構築
  • 最適なものを選択するための複数のモデル応答の比較
  • 評価チーム全体での一貫した品質基準の確立
  • 一貫性のない結果を示す評価システムのデバッグ
  • プロンプトまたはモデル変更のためのA/Bテストの設計
  • LLMまたは人間/LLMハイブリッド評価者向けのルーブリックの作成
  • 自動評価と人間による評価の間の相関関係の分析

他のスキルが担う隣接作業のためにこのスキルをアクティブ化しないでください:

  • 一般的な決定論的チェック、リグレッションスイート、本番品質ゲート、または成果指標:evaluation。
  • 自律ループガバナンス、ロックされたルーブリック、ロールバック、またはPR承認境界:harness-engineering。
  • 評価ツールのツールAPI契約:tool-design。

中核概念

評価分類学

正解データが存在するかどうかに基づいて、2つの主要なアプローチから選択します:

直接スコアリング — 客観的な基準(事実の正確性、指示への従順性、有害性)が存在する場合に使用します。単一のLLMが定義された尺度で1つの応答を評価します。明確に定義された基準では中程度から高い信頼性を達成します。スコアのキャリブレーションのずれや、一貫性のない尺度解釈に注意してください。

ペアワイズ比較 — 主観的な嗜好(トーン、スタイル、説得力)に使用します。LLMが2つの応答を比較し、より良い方を選択します。ペアワイズ方式は、主観的なタスクでは、オープンエンドの直接スコアリングよりも人間の好みとよく相関することがよくあります(claim-advanced-evaluation-position-swap)。位置バイアスと長さバイアスに注意してください。

バイアスの状況

すべての評価システムにおいて、これらの系統的バイアスを軽減します:

位置バイアス: 最初の位置にある応答が優先的に扱われます。位置を入れ替えて2回評価し、多数決または一貫性チェックを適用することで軽減します。

長さバイアス: 品質に関係なく、長い応答ほど高いスコアになります。長さを無視するように明示的にプロンプトし、長さで正規化されたスコアリングを適用することで軽減します。

自己増強バイアス: モデルは自身の出力をより高く評価します。生成と評価に異なるモデルを使用することで軽減します。

冗長性バイアス: 不必要な場合でも、過剰な詳細が高いスコアになります。無関係な詳細にペナルティを課す、基準固有のルーブリックで軽減します。

権威バイアス: 正確さに関係なく、自信に満ちたトーンが高いスコアになります。エビデンスの引用を要求し、ファクトチェックレイヤーを追加することで軽減します。

メトリクス選択フレームワーク

メトリクスを評価タスクの構造に一致させます:

タスクタイプ主要メトリクス副次メトリクス
二値分類(合格/不合格)再現率、適合率、F1コーエンのカッパ係数
順序尺度(1-5評価)スピアマンの順位相関係数、ケンドールの順位相関係数コーエンのカッパ係数(重み付け)
ペアワイズ嗜好一致率、位置一貫性信頼度キャリブレーション
マルチラベルマクロF1、マイクロF1ラベルごとの適合率/再現率

絶対的な一致率よりも、体系的な不一致パターンを優先します。なぜなら、特定の基準で人間と一貫して不一致を示す評価者は、ランダムノイズを持つ評価者よりも問題があるからです。

評価アプローチ

直接スコアリングの実装

明確な基準、キャリブレーションされた尺度、構造化された出力形式の3つのコンポーネントで直接スコアリングを構築します。

基準定義パターン:

基準: [名前]
説明: [この基準が測定するもの]
重み: [相対的な重要度、0-1]

尺度のキャリブレーション — ルーブリックの詳細度に基づいて尺度の粒度を選択します:

  • 1-3: 中立オプション付きの二値、最も低い認知負荷
  • 1-5: 標準的なリッカート尺度、粒度と信頼性の最良のバランス
  • 1-10: キャリブレーションが難しいため、詳細なレベル別ルーブリックでのみ使用します

直接スコアリングのプロンプト構造:

あなたは応答品質を評価する専門評価者です。

## タスク
以下の各基準に対して、次の応答を評価してください。

## 元のプロンプト
{プロンプト}

## 評価する応答
{応答}

## 基準
{各基準について:名前、説明、重み}

## 指示
各基準について:
1. 応答内の具体的な証拠を見つける
2. ルーブリックに従ってスコアを付ける(1-{最大} 尺度)
3. 証拠を基にスコアを正当化する
4. 1つの具体的な改善点を提案する

## 出力形式
スコア、正当化、要約を含む構造化JSONで応答してください。

スコアリングプロンプトでは、スコアの前に証拠を要求します。これにより、評価者は数値を出す前に、観察可能な出力特徴に判断の根拠を置く必要があります。

ペアワイズ比較の実装

すべてのペアワイズ評価に位置バイアス軽減を適用します:

  1. まず決定論的事前チェックを実行します:両方の候補が同じスキーマ、ソースエビデンス要件、スコープ制約を満たしている必要があります。
  2. 最初の評価パス:応答Aを最初の位置、応答Bを2番目の位置に配置。
  3. 2番目の評価パス:応答Bを最初の位置、応答Aを2番目の位置に配置。
  4. 一貫性チェック:パスが一致しない場合は、信頼度を下げて「引き分け」を返します。
  5. 最終判定:一貫した勝者を、平均化された信頼度と明示的なタイブレークの根拠とともに返します。

ペアワイズ比較のプロンプト構造:

あなたは2つのAI応答を比較する専門評価者です。

## 重要な指示
- 応答が長いからといって優先しないでください
- 位置(最初か2番目か)に基づいて優先しないでください
- 指定された基準に従った品質のみに焦点を当ててください
- 応答が本当に同等である場合は、引き分けも許容されます

## 元のプロンプト
{プロンプト}

## 応答A
{応答A}

## 応答B
{応答B}

## 比較基準
{基準リスト}

## 指示
1. 最初に各応答を個別に分析する
2. 各基準でそれらを比較する
3. 信頼度レベルを添えて全体的な勝者を決定する

## 出力形式
基準ごとの比較、全体的な勝者、信頼度(0-1)、および推論を含むJSON。

信頼度キャリブレーション — 信頼度を位置の一貫性にマッピングします:

  • 両方のパスが一致する場合:信頼度 = 個々の信頼度の平均
  • パスが一致しない場合:信頼度 = 0.5、判定 = 引き分け

ルーブリック生成

オープンエンドのスコアリングと比較して評価のばらつきを減らすためにルーブリックを生成します。正確な分散削減量は、ターゲット評価セットで測定されない限り、ワークロード固有として扱います。

これらのルーブリックコンポーネントを含めます:

  1. レベルの説明: 各スコアレベルの明確な境界
  2. 特徴: 各レベルを定義する観察可能な特徴
  3. 例: 各レベルの代表的なテキスト(オプションですが有益)
  4. エッジケース: 曖昧な状況のためのガイダンス
  5. スコアリングガイドライン: 一貫した適用のための一般的な原則

ユースケースに応じた厳格さのキャリブレーションを設定します:

  • 寛容: 合格基準が低く、反復を促進する場合に適切
  • バランス: 標準的な本番環境の期待値
  • 厳格: 安全性が重要、または影響の大きい評価に対する高い基準

ルーブリックをドメインに適応させます — ドメイン固有の用語を使用します。コード可読性のルーブリックは、変数、関数、コメントに言及します。医療精度のルーブリックは、臨床用語とエビデンス基準を参照します。

実践的なガイダンス

評価パイプラインの設計

これらのレイヤーで本番評価システムを構築します:基準ローダー(ルーブリック + 重み) -> 一次スコアラー(直接またはペアワイズ) -> バイアス軽減(位置入れ替えなど) -> 信頼度スコアリング(キャリブレーション) -> 出力(スコア + 正当化 + 信頼度)。完全なビジュアルレイアウトについては、評価パイプライン図 を参照してください。

意思決定フレームワーク:直接 vs ペアワイズ

この決定木を適用します:

客観的な正解データはありますか?
+-- はい -> 直接スコアリング
|   例:事実の正確性、指示への従順性、形式準拠
|
+-- いいえ -> それは嗜好または品質判断ですか?
    +-- はい -> ペアワイズ比較
    |   例:トーン、スタイル、説得力、創造性
    |
    +-- いいえ -> 参照ベースの評価を検討する
        例:要約(ソースと比較)、翻訳(参照と比較)

評価のスケーリング

大量の評価には、以下の戦略のいずれかを適用します:

  1. LLMのパネル(PoLL): 複数のモデルを評価者として使用し、投票を集約することで個々のモデルバイアスを低減します。より高価ですが、影響の大きい意思決定にはより信頼性が高くなります。

  2. 階層的評価: スクリーニングには高速で安価なモデルを使用し、エッジケースには高価なモデルを使用します。スクリーニングしきい値のキャリブレーションが必要です。

  3. 人間参加型: 明確なケースは自動化し、低信頼度の判断は人間のレビューに回します。自動評価を長期にわたって改善するためのフィードバックループを設計します。

例

例1:正確性の直接スコアリング

入力:

プロンプト: 「地球に季節が生じる原因は何ですか?」
応答: 「季節は地球の軸の傾きによって生じます。地球が太陽の周りを公転するにつれて、
異なる半球が1年の異なる時期に、より直接的な太陽光を受けます。」
基準: 事実の正確性(重み: 1.0)
尺度: 1-5

出力:

{
  "基準": "事実の正確性",
  "スコア": 5,
  "証拠": [
    "主な原因として軸の傾きを正しく特定している",
    "半球ごとの日射量の違いを正しく説明している",
    "事実誤認は存在しない"
  ],
  "正当化": "応答は、正しい科学的推論を用いて季節の原因を正確に説明しています。
軸の傾きとその日射量の分布への影響の両方が正しく説明されています。",
  "改善点": "完全を期すために、具体的な傾きの角度(23.5度)を追加してもよいでしょう。"
}

例2:位置入れ替えによるペアワイズ比較

入力:

プロンプト: 「機械学習を初心者に説明してください」
応答A: [専門用語を含む技術的な説明]
応答B: [類推ベースの簡単な説明]
基準: ["明確さ", "アクセシビリティ"]

最初のパス(Aが先):

{ "勝者": "B", "信頼度": 0.8 }

2番目のパス(Bが先):

{ "勝者": "A", "信頼度": 0.6 }

(注:Bが最初の位置にあったため、勝者はAになっています)

マッピング後の2番目のパス:

{ "勝者": "B", "信頼度": 0.6 }

最終結果:

{
  "勝者": "B",
  "信頼度": 0.7,
  "位置一貫性": {
    "一貫性": true,
    "最初のパスの勝者": "B",
    "2番目のパスの勝者": "B"
  }
}

例3:ルーブリック生成

入力:

基準名: 「コードの可読性」
基準説明: 「コードがどの程度理解しやすく、保守しやすいか」
ドメイン: 「ソフトウェアエンジニアリング」
尺度: "1-5"
厳格さ: "バランス"

出力(要約):

{
  "レベル": [
    {
      "スコア": 1,
      "ラベル": "不良",
      "説明": "コードは多大な努力なしでは理解が困難",
      "特徴": [
        "意味のある変数名や関数名がない",
        "コメントやドキュメントがない",
        "深くネストされた、または複雑なロジック"
      ]
    },
    {
      "スコア": 3,
      "ラベル": "普通",
      "説明": "ある程度の努力で理解可能なコード",
      "特徴": [
        "ほとんどの変数に意味のある名前が付いている",
        "複雑なセクションに基本的なコメントがある",
        "ロジックは追跡可能だが、よりクリーンにできる可能性がある"
      ]
    },
    {
      "スコア": 5,
      "ラベル": "優秀",
      "説明": "コードが即座に明確で保守可能",
      "特徴": [
        "すべての名前が説明的で一貫性がある",
        "包括的なドキュメント",
        "クリーンでモジュール化された構造"
      ]
    }
  ],
  "エッジケース": [
    {
      "状況": "コードは適切に構造化されているが、ドメイン固有の略語を使用している",
      "ガイダンス": "一般的な読者ではなく、ドメイン専門家にとっての読みやすさに基づいてスコアリングする"
    }
  ]
}

ガイドライン

  1. 常にスコアの前に証拠を要求する - 証拠を先に求めるプロンプトは、判断の監査を容易にし、根拠のない数値スコアリングを減らします

  2. ペアワイズ比較では常に位置を入れ替える - シングルパスの比較は位置バイアスによって損なわれます

  3. 尺度の粒度をルーブリックの詳細度に一致させる - 詳細なレベルの説明なしに1-10を使用しないでください

  4. 客観的基準と主観的基準を分離する - 客観的には直接スコアリング、主観的にはペアワイズ比較を使用します

  5. 信頼度スコアを含める - 位置の一貫性と証拠の強さにキャリブレーションします

  6. エッジケースを明示的に定義する - 曖昧な状況は評価のばらつきを最も大きくします

  7. ドメイン固有のルーブリックを使用する - 汎用的なルーブリックは、汎用的で(有用性の低い)評価を生成します

  8. 人間の判断に対して検証する - 自動評価は、人間の評価と相関する場合にのみ価値があります

  9. 系統的バイアスを監視する - 基準、応答タイプ、モデルごとの不一致パターンを追跡します

  10. 反復のために設計する - 評価システムはフィードバックループによって改善されます

注意点

  1. 正当化なしのスコアリング: スコアに根拠がなく、デバッグが困難です。スコアの前に常に証拠に基づく正当化を要求します。

  2. シングルパスのペアワイズ比較: 位置が入れ替えられていない場合、位置バイアスが結果を損ないます。常に位置を入れ替えて2回評価し、一貫性をチェックします。

  3. 過負荷な基準: 複数のものを同時に測定する基準は、信頼性の低いスコアを生成します。1つの基準 = 1つの測定可能な側面を徹底します。

  4. エッジケースガイダンスの欠如: 評価者は、明示的な指示なしに曖昧なケースを一貫性なく処理します。明確な解決ルールとともにルーブリックにエッジケースを含めます。

…

[翻訳のため省略]

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

SamuelChien/mega-skills-collection

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

SamuelChien/mega-skills-collection

Arquitecto de Soluciones Principal y Consultor Tecnológico de Andru.ia. Diagnostica y traza la hoja de ruta óptima para proyectos de IA en español.

SamuelChien/mega-skills-collection

Ingeniero de Sistemas de Andru.ia. Diseña, redacta y despliega nuevas habilidades (skills) dentro del repositorio siguiendo el Estándar de Diamante.

SamuelChien/mega-skills-collection

Estratega de Inteligencia de Dominio de Andru.ia. Analiza el nicho específico de un proyecto para inyectar conocimientos, regulaciones y estándares únicos del sector. Actívalo tras definir el nicho.

SamuelChien/mega-skills-collection

2D game development principles. Sprites, tilemaps, physics, camera.

SamuelChien/mega-skills-collection

3D game development principles. Rendering, shaders, physics, cameras.

SamuelChien/mega-skills-collection

Expert in building 3D experiences for the web - Three.js, React Three Fiber, Spline, WebGL, and interactive 3D scenes. Covers product configurators, 3D portfolios, immersive websites, and bringing depth to web experiences.

SamuelChien/mega-skills-collection

Accessibility audit skill for scanning, fixing, and verifying WCAG 2.2 Level A and AA compliance across React, Next.js, Vue, Angular, Svelte, and plain HTML codebases. Use when auditing accessibility, fixing a11y violations, checking color contrast, generating compliance reports, or integrating accessibility checks into CI/CD pipelines.

SamuelChien/mega-skills-collection

Ab Test Analyzer - Auto-activating skill for Data Analytics. Triggers on: ab test analyzer, ab test analyzer Part of the Data Analytics skill category.

SamuelChien/mega-skills-collection

A B Test Config Creator - Auto-activating skill for ML Deployment. Triggers on: a b test config creator, a b test config creator Part of the ML Deployment skill category.

SamuelChien/mega-skills-collection

When the user wants to plan, design, or implement an A/B test or experiment. Also use when the user mentions "A/B test," "split test," "experiment," "test this change," "variant copy," "multivariate test," "hypothesis," "conversion experiment," "statistical significance," or "test this." For tracking implementation, see analytics-tracking.

SamuelChien/mega-skills-collection

Acceptance Criteria Creator - Auto-activating skill for Enterprise Workflows. Triggers on: acceptance criteria creator, acceptance criteria creator Part of the Enterprise Workflows skill category.

SamuelChien/mega-skills-collection

Use when a coding task should be driven end-to-end from issue intake through implementation, review, deployment, and acceptance verification with minimal human re-intervention.

SamuelChien/mega-skills-collection

Accessibility Audit Runner - Auto-activating skill for Frontend Development. Triggers on: accessibility audit runner, accessibility audit runner Part of the Frontend Development skill category.

SamuelChien/mega-skills-collection

You are an accessibility expert specializing in WCAG compliance, inclusive design, and assistive technology compatibility. Conduct audits, identify barriers, and provide remediation guidance.

SamuelChien/mega-skills-collection

Web accessibility patterns for WCAG 2.2 compliance including ARIA, keyboard navigation, screen readers, and testing

SamuelChien/mega-skills-collection

Manage Discord channel access — approve pairings, edit allowlists, set DM/group policy. Use when the user asks to pair, approve someone, check who's allowed, or change policy for the Discord channel.

SamuelChien/mega-skills-collection

Create unified specification packages across Business, Development, and Design teams. Staged elaboration (L0 Vision → L1 Requirements → L2 Team Detail → L3 Acceptance Criteria) to build shared understanding. Does not write code.

SamuelChien/mega-skills-collection

Research a company or person and get actionable sales intel. Works standalone with web search, supercharged when you connect enrichment tools or your CRM. Trigger with "research [company]", "look up [person]", "intel on [prospect]", "who is [name] at [company]", or "tell me about [company]".

SamuelChien/mega-skills-collection

Validate messaging consistency across website, GitHub repos, and local documentation generating read-only discrepancy reports. Use when checking content alignment or finding mixed messaging. Trigger with phrases like "check consistency", "validate documentation", or "audit messaging".

関連スキル