CommunityInvestigación y análisis de datosgithub.com

SEG: Gráfico de Evaluación de Habilidades

Evaluación basada en evidencia, benchmarking y reparación verificada para habilidades de agente en Codex, Claude Code, Gemini CLI y Antigravity.

¿Qué es SEG: Gráfico de Evaluación de Habilidades?

SEG (Skill Evaluation Graph) es un motor procedural diseñado para auditar, optimizar y reparar habilidades de agentes de IA (skills) en plataformas como Codex, Claude Code, Gemini CLI y Antigravity. Su objetivo es convertir habilidades en activos de ingeniería confiables, eficientes en tokens y de grado de producción. Evalúa seis pilares clave: precisión de activación, arquitectura de divulgación progresiva, dirección conductual, determinismo de ejecución, seguridad operativa y economía de tokens. El sistema ejecuta un DAG (grafo acíclico dirigido) de nodos evaluadores paralelos que validan esquemas, enlaces, presupuesto de tokens, seguridad/privacidad, portabilidad, reglas de activación y políticas de comportamiento. Los resultados se sintetizan en un 'JoinedEvidence' que alimenta un 'Oracle' multi-puerta, el cual emite un veredicto: ACEPTAR, REVISAR o ESCALAR. En caso de revisión, se generan parches deterministas que se verifican en un sandbox aislado antes de aplicarse con protección de instantánea previa a la mutación. SEG también incluye un catálogo de escenarios de prueba conductuales y produce reportes de auditoría (scorecards) con evidencia medible y resúmenes criptográficos a prueba de manipulaciones.

Compatible con✓Claude Code✓Codex CLI~Cursor✓Antigravity✓Gemini CLI
npx skills add MaxLaurieHutchinson/skill-evaluation-graph

Installed? Explore more Investigación y análisis de datos skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Ver original→Ver todas las habilidades

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

OpenAIChatGPTClaudeClaudeGeminiGeminiGrokGrokPerplexityPerplexityDeepSeekDeepSeek

Documentación

SEG: Gráfico de Evaluación de Habilidades: Controlador Procedimental para Auditoría y Optimización de Habilidades de Agente

Convierte las habilidades de agente en activos de ingeniería confiables, eficientes en tokens y de grado de producción. Evalúa la precisión de activación, la arquitectura de divulgación progresiva, la dirección conductual, el determinismo de ejecución, la seguridad operativa y la economía de tokens.

Matriz de Referencia Rápida

AspectoPropósitoRecurso Autorizado
Terminología CanónicaVocabulario autorizado y definiciones del dominioreferences/terminology.md
Rúbrica de Auditoría de 6 PilaresDefiniciones objetivas de puntuación 1–5references/audit-rubric.md
Catálogo de AntipatronesGuía de diagnóstico para 14 defectos recurrentes de habilidadesreferences/anti-patterns.md
Ingeniería de ContextoPatrones de divulgación progresiva de múltiples nivelesreferences/progressive-disclosure-patterns.md
Gráfico de Evaluación y BucleManual del motor de bucle de evaluador autónomoreferences/workflow-graph-and-evaluator-loop.md
Compatibilidad de ArnesesMapeo de herramientas multiplataforma (Antigravity/Claude/Codex)references/harness-tool-matrix.md
Ejecutor de Pruebas ConductualesEvaluación de Control vs. Tratamiento y pruebas en vivoscripts/eval_skill.py
Auditoría de Afirmaciones de CapacidadRealidad técnica y clasificación de evidenciareferences/claim-audit.md
Plantilla de InformePlantilla estandarizada de informe de evaluaciónassets/skill-audit-scorecard-template.md
Ejemplo de InformeInforme de evaluación completo ejemplarassets/example-scorecard.md
AutoauditoríaInforme de referencia de autoevaluación de SEGassets/self-audit-scorecard.md
Alineación con EstándaresMarco de 14 pasos de la Wiki de IA Aplicadareferences/wiki-standard-alignment.md
Protección de AgenteContrato de contribuyente contra alucinacionesassets/agent-contributor-contract-template.md

[!IMPORTANT] Terminología Canónica: Utilice references/terminology.md como el vocabulario canónico de SEG. No introduzca sinónimos para conceptos definidos sin actualizar el glosario.

Arquitectura del Flujo de Trabajo

[Nodo 1: Recepción y Alcance]
          │
          ▼
[Nodo 2: Ejecución Paralela de DAG de Evaluadores]
  (Esquema, Enlaces, Tokens, Seguridad/Privacidad, Portabilidad, Enrutamiento de Activación, Política de Comportamiento)
          │
          ▼
[Nodo 3: Unión de Evidencia Multinodo]
          │
          ▼
[Nodo 4: Oráculo de Evaluación Multipuerta]
          │
  ┌───────┼───────────────────────────────┐
  ▼       ▼                               ▼
[Nodo 5A: ACEPTAR]              [Nodo 5B/5C: REVISAR]            [Nodo 5D: ESCALAR]
(Informe y Recibo)  (Verificar en Sandbox -> Vista Previa/Mutar)   (Requiere Atención Humana)

Controlador de Ejecución Procedimental

Siga estos pasos en secuencia al auditar u optimizar una habilidad de agente:

Paso 1: Identificar la Habilidad Objetivo y Verificar el Alcance

  1. Localice el directorio objetivo que contiene SKILL.md.
  2. Inspeccione el inventario del paquete en SKILL.md, references/, scripts/ y assets/.
  3. Verifique los manifiestos de compatibilidad del arnés anfitrión (.codex-plugin/plugin.json, CLAUDE.md, AGENTS.md, .agents/plugins/marketplace.json).

Paso 2: Leer la Terminología Canónica

Consulte references/terminology.md antes de registrar hallazgos. Asegúrese de que todos los comentarios e informes utilicen los nombres canónicos exactos (por ejemplo, Static Quality Score, Oracle Verdict, Evaluation Integrity Gate, Pre-mutation Snapshot).

Paso 3: Ejecutar el Gráfico de Evaluación

Ejecute el DAG de evaluación paralelo modular a través de scripts/run_loop.py:

# Evaluación de solo lectura y vista previa de diferencias (predeterminado)
python "<skill-dir>/scripts/run_loop.py" "<target-skill-path>" --target-score 95 --max-iterations 3

# Con entrega de informe tras la aceptación
python "<skill-dir>/scripts/run_loop.py" "<target-skill-path>" --scorecard "<target-skill-path>/scorecard.md"

Los nodos evaluadores se ejecutan en oleadas paralelas de dependencias:

  • schema: Valida el frontmatter YAML, los nombres y los campos obligatorios.
  • links_syntax: Resuelve enlaces relativos, reglas de un solo salto y bloques de código.
  • tokens: Perfila el presupuesto de tokens en los 5 niveles de divulgación progresiva.
  • safety_privacy: Detecta comandos destructivos y exposiciones de rutas de estación de trabajo.
  • portability: Valida los manifiestos de complemento y mercado de OpenAI Codex.
  • trigger_routing: Verifica las descripciones de activación en el frontmatter y los límites negativos.
  • behaviour_policy: Aplica las pautas contra la racionalización.

Paso 4: Unir Evidencia y Evaluar Puertas

La evidencia de todos los nodos se sintetiza en JoinedEvidence. El EvaluatorOracle aplica 5 puertas obligatorias:

  1. Puerta de Integridad de Evaluación (Puerta 0): Falla cerrada si algún evaluador encuentra un error no manejado, se agota el tiempo o se salta inesperadamente.
  2. Puerta de Conformidad de Especificación: Falla si algún nodo informa un SPECIFICATION_ERROR (por ejemplo, esquema de mercado inválido o frontmatter roto).
  3. Puerta de Seguridad y Privacidad: Falla ante comandos destructivos o fugas de rutas de estación de trabajo.
  4. Puerta de Integridad de Enlaces: Falla ante enlaces Markdown relativos rotos.
  5. Puerta de Política de Puntuación de Calidad Estática: Verifica que la puntuación general cumpla con --target-score (predeterminado: 95).

Paso 5: Procesar el Veredicto del Oráculo

  • ACEPTAR (Nodo 5A): Todas las puertas obligatorias pasaron y la puntuación de calidad estática $\ge 95$. Genere el informe y el recibo de evaluación. Estado: COMPLETED (o MUTATED si se aplicaron reparaciones).
  • REVISAR (Nodo 5B/5C): Defectos reparables detectados. Proceda al Paso 6.
  • ESCALAR (Nodo 5D): Bloqueos irresolubles o se alcanzó el límite de iteraciones. Se detiene para intervención humana con una lista detallada de bloqueos. Estado: ESCALATED.

Paso 6: Derivar Reparación, Verificar en Sandbox y Mutar con Autoridad

Cuando el veredicto es REVISAR:

  1. plan_repairs() deriva propuestas de parche deterministas a partir de los hallazgos.
  2. RepairIsolator prepara las propuestas en un sandbox de pruebas aislado (tempfile.TemporaryDirectory).
  3. El candidato se reevalúa dentro del sandbox usando el DAG y el Oráculo para verificar:
    • La Puerta de Integridad de Evaluación pasa.
    • Las puertas obligatorias no retroceden.
    • No se introducen nuevos hallazgos ERROR.
    • La puntuación de calidad estática o el recuento de hallazgos mejoran estrictamente.
  4. Si el candidato pasa la verificación:
    • Predeterminado (Solo Lectura): Se muestra un diff unificado para revisión humana. La habilidad objetivo en el disco permanece intacta. Estado: PREVIEWED.
    • Con --apply: Los parches verificados se escriben en el disco con protección de instantánea previa a la mutación (un directorio de recuperación hermano con nombre único). Estado: MUTATED.
  5. El bucle se reanuda para la siguiente iteración hasta ACEPTAR o hasta que se agoten las iteraciones máximas.

Paso 7: Opcionalmente Ejecutar Pruebas Conductuales

El catálogo versionado incluido está en evaluations/scenarios/. Instale las dependencias de Python desde requirements.txt antes de ejecutar SEG.

Para la validación dinámica de la ejecución de la habilidad, ejecute scripts/eval_skill.py:

# Simulación sin conexión de escenarios de anti-racionalización
python "<skill-dir>/scripts/eval_skill.py" "<target-skill-path>"

# Prueba en vivo autenticada de Codex CLI con directorio de inicio aislado
python "<skill-dir>/scripts/eval_skill.py" "<target-skill-path>" --live --harness codex --trials 1 --timeout 90

Paso 8: Producir un Informe Basado en Evidencia

Genere el informe de auditoría finalizado a través de scripts/audit_skill.py:

python "<skill-dir>/scripts/audit_skill.py" "<target-skill-path>" --scorecard "<output-scorecard.md>"

El informe proyecta estrictamente la evidencia medida del DAG y el Oráculo:

  • La recomendación coincide con el Veredicto del Oráculo (ACEPTAR, REVISAR, ESCALAR).
  • Los pilares de rúbrica medidos proyectan las métricas del evaluador.
  • Los pilares no medidos informan explícitamente NOT EVALUATED.
  • Se guarda un recibo de evaluación a prueba de manipulaciones con un resumen SHA256 sobre el estado de ejecución finalizado.

Invariantes de Calidad

  • Cero Enlaces Rotos: Cada enlace Markdown relativo debe resolverse dentro del directorio de la habilidad.
  • Salto Único Estricto: Ningún archivo de referencia puede enlazar a un archivo de referencia secundario.
  • Cumplimiento de Presupuesto: SKILL.md no debe exceder las 300 líneas o 2500 tokens.
  • Portabilidad Autocontenida: Cero rutas de máquina codificadas o directorios de inicio de usuario.
  • Integridad de la Evidencia: Los informes y recibos deben reflejar evidencia verificable sin puntuaciones inventadas.

Skills relacionados

affaan-m/uspto-database

USPTO patent and trademark data workflow for official record lookup, PatentSearch queries, TSDR checks, assignment data, and reproducible IP research logs.

community

affaan-m/scholar-evaluation

Structured scholarly-work evaluation for papers, proposals, literature reviews, methods sections, evidence quality, citation support, and research-writing feedback.

community

affaan-m/literature-review

Systematic literature-review workflow for academic, biomedical, technical, and scientific topics, including search planning, source screening, synthesis, citation checks, and evidence logging.

community

affaan-m/everything-claude-code

The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.

community

forrestchang/andrej-karpathy-skills

Agent skill repository discovered by 10x-chat research.

community

langgenius/backend-code-review

Review backend code for quality, security, maintainability, and best practices based on established checklist rules. Use when the user requests a review, analysis, or improvement of backend files (e.g., `.py`) under the `api/` directory. Do NOT use for frontend files (e.g., `.tsx`, `.ts`, `.js`). Supports pending-change review, code snippets review, and file-focused review.

community
← More Investigación y análisis de datos skills