SEG: スキル評価グラフ - エージェントスキル監査・最適化のための手続き型ドライバーは何をしますか？

エージェントスキルを信頼性が高く、トークン効率に優れ、本番品質のエンジニアリングアセットに変えます。トリガーの精度、プログレッシブディスクロージャー設計、行動制御、実行の決定性、運用安全性、トークン経済性を評価します。

クイックリファレンスマトリックス

項目	目的	権威あるリソース
標準用語	正式な語彙とドメイン定義	references/terminology.md
6柱監査ルーブリック	1～5の客観的スコア定義	references/audit-rubric.md
アンチパターンカタログ	14の再発性スキル欠陥の診断ガイド	references/anti-patterns.md
コンテキストエンジニアリング	多段階プログレッシブディスクロージャーパターン	references/progressive-disclosure-patterns.md
評価グラフとループ	自律評価ループエンジンの実行手順書	references/workflow-graph-and-evaluator-loop.md
ハーネス互換性	クロスプラットフォームツールマッピング（Antigravity/Claude/Codex）	references/harness-tool-matrix.md
行動評価ランナー	制御群 vs 治療群の評価とライブトライアル	scripts/eval_skill.py
機能請求監査	技術的現実とエビデンス分類	references/claim-audit.md
スコアカードテンプレート	標準化された評価レポートテンプレート	assets/skill-audit-scorecard-template.md
スコアカード例	完成した評価レポートの模範例	assets/example-scorecard.md
自己監査スコアカード	SEG自己監査のベースラインスコアカード	assets/self-audit-scorecard.md
標準準拠	Applied AI Wiki 14ステップフレームワーク	references/wiki-standard-alignment.md
エージェント保護	幻覚防止のためのコントリビューター契約	assets/agent-contributor-contract-template.md

[!IMPORTANT] 標準用語: references/terminology.md をSEGの正式な語彙として使用してください。用語集を更新せずに定義済みの概念に同義語を導入しないでください。

ワークフローグラフアーキテクチャ

[ノード1: 取得とスコープ]
          │
          ▼
[ノード2: 並列評価DAG実行]
  (スキーマ、リンク、トークン、安全性/プライバシー、移植性、トリガールーティング、行動ポリシー)
          │
          ▼
[ノード3: マルチノードエビデンスの結合]
          │
          ▼
[ノード4: マルチゲート評価オラクル]
          │
  ┌───────┼───────────────────────────────┐
  ▼       ▼                               ▼
[ノード5A: ACCEPT]              [ノード5B/5C: REVISE]            [ノード5D: ESCALATE]
（スコアカード & 領収書）  （サンドボックス検証 -> プレビュー/変更）   （人間の注意が必要）

手続き型実行ドライバー

エージェントスキルを監査または最適化する際は、以下の手順を順に実行してください。

ステップ1: ターゲットスキルの特定とスコープの確認

SKILL.md を含むターゲットディレクトリを特定します。
SKILL.md、references/、scripts/、assets/ にわたるパッケージインベントリを検査します。
ホストハーネス互換性マニフェスト（.codex-plugin/plugin.json、CLAUDE.md、AGENTS.md、.agents/plugins/marketplace.json）を確認します。

ステップ2: 標準用語を読む

references/terminology.md を参照してから所見を記録します。すべてのフィードバックとレポートは、正確な正式用語（例: Static Quality Score、Oracle Verdict、Evaluation Integrity Gate、Pre-mutation Snapshot）を使用してください。

ステップ3: 評価グラフを実行する

scripts/run_loop.py を介してモジュール式並列評価DAGを実行します。

# 読み取り専用の評価と差分プレビュー（デフォルト）
python "<skill-dir>/scripts/run_loop.py" "<target-skill-path>" --target-score 95 --max-iterations 3

# 承認時にスコアカードを配信
python "<skill-dir>/scripts/run_loop.py" "<target-skill-path>" --scorecard "<target-skill-path>/scorecard.md"

評価ノードは並列依存ウェーブにわたって実行されます。

schema: YAMLフロントマター、命名、必須フィールドを検証します。
links_syntax: 相対リンク、シングルホップルール、コードフェンスを解決します。
tokens: 5つのプログレッシブディスクロージャーティアにわたるトークンバジェットをプロファイリングします。
safety_privacy: 破壊的なコマンドとワークステーションパスの露出を検出します。
portability: OpenAI Codexプラグインとマーケットプレイスマニフェストを検証します。
trigger_routing: フロントマターの説明トリガーとネガティブバウンダリーをチェックします。
behaviour_policy: 自己正当化防止ガイドラインを強制します。

ステップ4: エビデンスの結合とゲートの評価

すべてのノードからのエビデンスは JoinedEvidence に統合されます。EvaluatorOracle は5つの必須ゲートを強制します。

評価整合性ゲート（ゲート0）: いずれかの評価者が未処理のエラー、タイムアウト、または予期しないスキップに遭遇した場合、安全側に倒れて失敗します。
仕様準拠ゲート: いずれかのノードが SPECIFICATION_ERROR（例: 無効なマーケットプレイススキーマ、壊れたフロントマター）を報告した場合に失敗します。
安全性・プライバシーゲート: 破壊的なコマンドやワークステーションパスの漏洩がある場合に失敗します。
リンク整合性ゲート: 壊れた相対マークダウンリンクがある場合に失敗します。
静的品質スコアポリシーゲート: 全体スコアが --target-score（デフォルト: 95）を満たしていることを確認します。

ステップ5: オラクルの評決を処理する

ACCEPT（ノード5A）: すべての必須ゲートに合格し、静的品質スコア ≥ 95。スコアカードと評価領収書を生成します。ステータス: COMPLETED（修復が適用された場合は MUTATED）。
REVISE（ノード5B/5C）: 修正可能な欠陥が検出されました。ステップ6に進みます。
ESCALATE（ノード5D）: 解決不可能なブロッカーまたは反復制限に達しました。詳細なブロッカーリストとともに人間の介入のために停止します。ステータス: ESCALATED。

ステップ6: 修復の導出、サンドボックスでの検証、権限による変更

評決が REVISE の場合:

plan_repairs() が所見から決定論的なパッチ提案を導出します。
RepairIsolator が分離されたスクラッチサンドボックス（tempfile.TemporaryDirectory）に提案をステージングします。
候補はサンドボックス内でDAGとオラクルを使用して再評価され、以下を確認します。
- 評価整合性ゲートに合格すること。
- 必須ゲートが後退しないこと。
- 新しい ERROR 所見が導入されないこと。
- 静的品質スコアまたは所見数が厳密に改善すること。
候補が検証に合格した場合:
- デフォルト（読み取り専用）: 統合diffが人間のレビューのために表示されます。ディスク上のターゲットスキルは変更されません。ステータス: PREVIEWED。
- --apply 付き: 検証済みパッチが変更前スナップショット保護（一意の名前を持つ兄弟リカバリディレクトリ）とともにディスクに書き込まれます。ステータス: MUTATED。
ACCEPT または最大反復回数に達するまで、ループは次の反復を再開します。

ステップ7: オプションで行動評価を実行する

バンドルされたバージョン管理カタログは evaluations/scenarios/ にあります。SEGを実行する前に、requirements.txt からPython依存関係をインストールしてください。

スキル実行の動的検証のために、scripts/eval_skill.py を実行します。

# 自己正当化シナリオのオフラインシミュレーション
python "<skill-dir>/scripts/eval_skill.py" "<target-skill-path>"

# 分離されたホームディレクトリを使用したライブ認証Codex CLIトライアル
python "<skill-dir>/scripts/eval_skill.py" "<target-skill-path>" --live --harness codex --trials 1 --timeout 90

ステップ8: エビデンスに基づくスコアカードの作成

scripts/audit_skill.py を介して最終監査スコアカードを生成します。

python "<skill-dir>/scripts/audit_skill.py" "<target-skill-path>" --scorecard "<output-scorecard.md>"

スコアカードはDAGとオラクルからの測定エビデンスを厳密に投影します。

推奨事項はオラクル評決（ACCEPT、REVISE、ESCALATE）と一致します。
測定されたルーブリックの柱は評価メトリクスを投影します。
未測定の柱は明示的に NOT EVALUATED と報告します。
改ざん防止の評価領収書が、最終実行状態のSHA256ダイジェストとともに保存されます。

品質不変条件

ゼロ破損リンク: すべての相対マークダウンリンクはスキルディレクトリ内で解決可能でなければなりません。
厳密なシングルホップ: 参照ファイルは二次参照ファイルにリンクしてはなりません。
バジェット準拠: SKILL.md は300行または2500トークンを超えてはなりません。
自己完結型移植性: ハードコードされたマシンパスやユーザーのホームディレクトリはゼロ。
エビデンスの整合性: スコアカードと領収書は、捏造されたスコアなしで検証可能なエビデンスを反映しなければなりません。

SEG: スキル評価グラフ - エージェントスキル監査・最適化のための手続き型ドライバー