SEG：技能评估图谱——Agent技能审核与优化的程序化驱动
将Agent技能转化为可靠、token高效、达到生产级标准的工程资产。评估触发词精确度、渐进式信息架构、行为引导、执行确定性、操作安全性和token经济学。
快速参考矩阵
| 关注点 | 目的 | 权威资源 |
|---|---|---|
| 规范术语 | 权威词汇与领域定义 | references/terminology.md |
| 六大支柱审核标准 | 客观的1-5分评分定义 | references/audit-rubric.md |
| 反模式目录 | 14种常见技能缺陷的诊断指南 | references/anti-patterns.md |
| 上下文工程 | 多层渐进式信息模式 | references/progressive-disclosure-patterns.md |
| 评估图谱与循环 | 自主评估器循环引擎运行手册 | references/workflow-graph-and-evaluator-loop.md |
| 工具兼容性 | 跨平台工具映射（Antigravity/Claude/Codex） | references/harness-tool-matrix.md |
| 行为试验运行器 | 对照组与实验组评估及实景试验 | scripts/eval_skill.py |
| 能力声明审计 | 技术现实与证据分类 | references/claim-audit.md |
| 评分卡模板 | 标准化评估报告模板 | assets/skill-audit-scorecard-template.md |
| 示例评分卡 | 示范性已完成评估报告 | assets/example-scorecard.md |
| 自我审核评分卡 | SEG自我审核基线评分卡 | assets/self-audit-scorecard.md |
| 标准对齐 | Applied AI Wiki 14步框架 | references/wiki-standard-alignment.md |
| Agent保护 | 反幻觉贡献者合约 | assets/agent-contributor-contract-template.md |
[!IMPORTANT] 规范术语：请使用 references/terminology.md 作为SEG的规范词汇。未经术语表更新，请勿为已定义的概念引入同义词。
工作流程图架构
[节点1：接收与范围界定]
│
▼
[节点2：并行评估器DAG执行]
(Schema, Links, Tokens, Safety/Privacy, Portability, Trigger Routing, Behaviour Policy)
│
▼
[节点3：多节点证据汇合]
│
▼
[节点4：多门评估裁决器]
│
┌───────┼───────────────────────────────┐
▼ ▼ ▼
[节点5A：接受] [节点5B/5C：修订] [节点5D：升级]
(评分卡与收据) (沙箱验证 -> 预览/变异) (需人工介入)
程序化执行驱动
在审计或优化Agent技能时，请按顺序执行以下步骤：
步骤1：确定目标技能并验证范围
- 定位包含
SKILL.md的目标目录。 - 检查
SKILL.md、references/、scripts/和assets/中的技能包清单。 - 验证宿主平台的工具兼容性清单（
.codex-plugin/plugin.json、CLAUDE.md、AGENTS.md、.agents/plugins/marketplace.json）。
步骤2：阅读规范术语
在记录发现之前，请参考 references/terminology.md。确保所有反馈和报告均使用准确的规范名称（例如 Static Quality Score、Oracle Verdict、Evaluation Integrity Gate、Pre-mutation Snapshot）。
步骤3：执行评估图谱
通过 scripts/run_loop.py 运行模块化的并行评估DAG：
# 只读评估与差异预览（默认）
python "<skill-dir>/scripts/run_loop.py" "<target-skill-path>" --target-score 95 --max-iterations 3
# 接受后交付评分卡
python "<skill-dir>/scripts/run_loop.py" "<target-skill-path>" --scorecard "<target-skill-path>/scorecard.md"
评估器节点按并行依赖波次执行：
schema：验证YAML前导数据、命名和必填字段。links_syntax：解析相对链接、单跳规则和代码围栏。tokens：分析5个渐进式信息层的token预算。safety_privacy：检测破坏性命令和工作站路径泄露。portability：验证OpenAI Codex插件和市场清单。trigger_routing：检查前导数据中的描述触发词和否定边界。behaviour_policy：强制执行反合理化指南。
步骤4：汇合证据并评估门控
来自所有节点的证据将综合成 JoinedEvidence。EvaluatorOracle 强制执行5个强制门控：
- 评估完整性门（门0）：如果任何评估器遇到未处理的错误、超时或意外跳过，则关闭失败。
- 规范符合性门：如果任何节点报告
SPECIFICATION_ERROR（例如无效的市场schema或损坏的前导数据），则失败。 - 安全与隐私门：存在破坏性命令或工作站路径泄露时失败。
- 链接完整性门：存在损坏的Markdown相对链接时失败。
- 静态质量评分策略门：验证总体得分是否满足
--target-score（默认：95）。
步骤5：处理裁决器裁决
ACCEPT（节点5A）：所有强制门控通过且静态质量得分 $\ge 95$。生成评分卡和评估收据。状态：COMPLETED（若应用了修复则为MUTATED）。REVISE（节点5B/5C）：检测到可修复的缺陷。进入步骤6。ESCALATE（节点5D）：遇到无法解决的阻塞点或达到迭代上限。停止并附带详细阻塞列表等待人工介入。状态：ESCALATED。
步骤6：制定修复方案，在沙箱中验证，并有权进行变异
当裁决为 REVISE 时：
plan_repairs()根据发现结果推导出确定性的补丁提案。RepairIsolator将提案暂存到隔离的临时沙箱中（tempfile.TemporaryDirectory）。- 在沙箱内使用DAG和裁决器重新评估候选方案，以验证：
- 评估完整性门通过。
- 强制门控未出现回退。
- 未引入新的
ERROR发现。 - 静态质量得分或发现计数严格改善。
- 如果候选方案通过验证：
- 默认（只读）：显示统一差异供人工审查。磁盘上的目标技能保持不变。状态：
PREVIEWED。 - 使用
--apply：经验证的补丁将写入磁盘，并附带预变异快照保护（一个唯一命名的同级恢复目录）。状态：MUTATED。
- 默认（只读）：显示统一差异供人工审查。磁盘上的目标技能保持不变。状态：
- 循环继续下一次迭代，直到
ACCEPT或达到最大迭代次数。
步骤7：可选运行行为试验
捆绑的版本化场景目录位于 evaluations/scenarios/。在运行SEG之前，请从 requirements.txt 安装Python依赖。
如需对技能执行进行动态验证，请运行 scripts/eval_skill.py：
# 反合理化场景的离线模拟
python "<skill-dir>/scripts/eval_skill.py" "<target-skill-path>"
# 带有隔离主目录的实时认证Codex CLI试验
python "<skill-dir>/scripts/eval_skill.py" "<target-skill-path>" --live --harness codex --trials 1 --timeout 90
步骤8：生成基于证据的评分卡
通过 scripts/audit_skill.py 生成最终的审计评分卡：
python "<skill-dir>/scripts/audit_skill.py" "<target-skill-path>" --scorecard "<output-scorecard.md>"
评分卡严格投影来自DAG和裁决器的测量证据：
- 建议与裁决器裁决（
ACCEPT、REVISE、ESCALATE）匹配。 - 已测量的评估支柱投影评估器指标。
- 未测量的支柱明确报告为
NOT EVALUATED。 - 防篡改的评估收据将附带最终化执行状态的SHA256摘要一起保存。
质量不变项
- 零损坏链接： 每个相对Markdown链接都必须在技能目录内可解析。
- 严格单跳： 任何引用文件不得链接到其他引用文件。
- 预算合规：
SKILL.md不得超过300行或2500个token。 - 自包含可移植性： 零硬编码的机器路径或用户主目录。
- 证据完整性： 评分卡和收据必须反映可验证的证据，不得有虚构分数。