Communitygithub.com

avaliar-lançamento-ai

Avalie um sistema RAG ou lançamento de agente de IA contra uma linha de base aceita, diagnostique regressões e produza evidências explicáveis de APROVADO, AVISO ou BLOQUEIO.

O que é avaliar-lançamento-ai?

Esta skill automatiza a avaliação de qualidade de lançamentos de sistemas de IA, especialmente sistemas RAG (Retrieval-Augmented Generation) e agentes de IA. Ela utiliza o RAGOps como um avaliador determinístico, comparando respostas ou traces candidatos contra uma linha de base aceita e políticas de limites pré-definidas. O resultado não é uma prova de correção universal, mas sim uma evidência para decisões de lançamento, identificando regressões, citações incorretas, abstenções e outras falhas. A skill suporta plataformas como Claude Code, Cursor e Codex, e seu fluxo de trabalho inclui: identificação dos cenários e artefatos, execução de comandos RAGOps, interpretação de códigos de saída (0 para APROVADO, 2 para BLOQUEIO avaliado) e geração de um relatório conciso com decisão, evidências, portões falhados, limitações e próxima ação. É essencial para pré-lançamentos, gates de release e revisões de qualidade de IA, mas não deve ser usada como única base para publicar, mesclar ou implantar.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/thangldw/ragops/tree/main/skills/evaluate-ai-release

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Avaliar um lançamento de IA

Use o RAGOps como um avaliador determinístico. Trate seu resultado como evidência de lançamento, não como prova de que um sistema é universalmente correto ou seguro.

Fluxo de trabalho

  1. Identifique o cenário, as respostas ou traces candidatos, a linha de base aceita e os limites de política. Não invente artefatos faltantes.
  2. Leia references/commands.md ao selecionar o comando RAGOps ou interpretar códigos de saída.
  3. Inspecione as entradas em busca de segredos ou dados pessoais antes de executar uma avaliação. Mantenha os relatórios gerados privados, a menos que o usuário aprove o compartilhamento.
  4. Execute o comando mais restrito aplicável através de python3 scripts/run_ragops.py ... a partir deste diretório da skill.
  5. Interprete o código de saída 0 como APROVADO e o código de saída 2 como um BLOQUEIO avaliado, não uma falha de execução. Trate outros códigos diferentes de zero como erros operacionais.
  6. Relate a decisão, os portões falhados, os deltas de métricas materiais, as limitações de proveniência e a menor próxima ação.

Diretrizes

  • Não enfraqueça limites, substitua a linha de base aceita ou omita casos com falha para obter uma aprovação.
  • Não afirme correção semântica quando apenas verificações lexicais ou de citação foram executadas.
  • Não execute avaliação baseada em provedor a menos que o usuário forneça e autorize explicitamente a configuração do provedor.
  • Não publique, mescle, crie tag ou implante baseando-se apenas na saída desta skill.
  • Preserve os artefatos de entrada e os parâmetros de comando na evidência final para que outro revisor possa reproduzir o resultado.

Saída

Retorne uma recomendação de lançamento concisa com: decisão, evidências, portões_falhados, limitações e próxima_ação.

Habilidades Relacionadas