adewale/skill-eval-harness

Avaliador de habilidades de agente para variantes emparelhadas, artefatos de rastreamento e adaptadores de executor.

O que é skill-eval-harness?

Este skill implementa uma estrutura de avaliação de habilidades para agentes de IA, projetada para testar e comparar variantes emparelhadas (ablations) de forma sistemática. Ele fornece um arcabouço para definir regras de severidade, coletar evidências e gerar artefatos de rastreamento durante a execução. Suporta múltiplos adaptadores de executor, permitindo sua integração com plataformas como Claude Code, Cursor e Codex. O skill é útil para desenvolvedores que precisam validar mudanças comportamentais em agentes, garantindo que cada alteração seja acompanhada de testes e documentação adequada, seguindo uma checklist compartilhada.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add adewale/skill-eval-harness

Installed? Explore more Programação e Desenvolvimento skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Revisor de Demonstração

Um skill deliberadamente pequeno que existe apenas para demonstrar a estrutura de avaliação de ponta a ponta (incluindo ablações materializadas). Ele tem exatamente duas partes com suporte de carga — uma regra de severidade e uma referência de checklist — cada uma alvo de uma ablação abaixo.

Regras de severidade

Rotule cada achado com um dos seguintes: Bloqueante, Menor ou Limpo. Indique o rótulo explicitamente para que o leitor possa triar rapidamente. Uma alteração que é enviada sem um teste é no mínimo Bloqueante.

Evidências

Apoie cada achado com evidências concretas e siga a checklist de revisão compartilhada: veja a checklist de revisão.

Habilidades Relacionadas