iamalimaybe/llm-evaluation-registry

O que llm-evaluation-registry faz?

LLM Evaluation Registry é uma camada de qualidade orientada por backend para workflows de IA. Ela rastreia prompts, modelos, casos de teste reutilizáveis, execuções de avaliação, resultados de validação, regressões e notas de revisão humana para que o comportamento da IA possa ser medido em vez de adivinhado.

Visão Geral

Este skill fornece um sistema robusto para registrar e gerenciar avaliações de modelos de linguagem grande (LLMs). Ele permite que você:

• Armazene e gerencie prompts e suas versões.
• Acompanhe diferentes modelos de IA e suas versões.
• Crie e reutilize casos de teste padronizados.
• Execute runs de avaliação de forma rastreável.
• Valide resultados contra critérios pré-definidos.
• Detecte regressões no comportamento do modelo.
• Adicione notas de revisão humana para análise qualitativa.

Plataformas Suportadas

• Claude Code (via arquivo .claude/settings.json)
• Qualquer agente de IA que suporte skills CLI

Como Funciona

O skill opera como um middleware entre sua aplicação e o modelo de IA. Quando você executa uma avaliação, ele:

1. Captura o prompt enviado.
2. Registra o modelo e contexto usado.
3. Executa os casos de teste associados.
4. Coleta os resultados e compara com expectativas.
5. Armazena tudo em um registry persistente.
6. Permite revisão e anotação humana.

Uso Básico

Inicialização

npx iamalimaybe/llm-evaluation-registry init

Isso irá configurar o registry no seu projeto atual.

Executando uma Avaliação

npx iamalimaybe/llm-evaluation-registry run --prompt "Seu prompt aqui" --model gpt-4

Visualizando Resultados

npx iamalimaybe/llm-evaluation-registry list

Exemplo de Configuração

Crie um arquivo evaluation.config.yaml:

registry:
  path: ./evaluations
  format: json

test_cases:
  - id: "tc-001"
    prompt: "O que é 2+2?"
    expected: "4"
    tags: ["matemática", "básico"]

Comandos

Comando	Descrição
init	Inicializa o registry local
run	Executa uma avaliação
list	Lista resultados de avaliações
review	Adiciona revisão humana
export	Exporta dados do registry

Integração com CI/CD

Você pode integrar este skill em seus pipelines de CI/CD para validar automaticamente mudanças em prompts ou modelos:

# Exemplo de workflow GitHub Actions
- name: Avaliar LLM
  run: npx iamalimaybe/llm-evaluation-registry run --prompt-file ./prompts/novo-prompt.txt

Recursos Avançados

• Versionamento de Prompts: Cada mudança em um prompt é versionada automaticamente.
• Comparação de Modelos: Execute o mesmo caso de teste em diferentes modelos e compare resultados.
• Detecção de Regressão: O registry alerta automaticamente quando uma nova execução difere significativamente das anteriores.
• Anotações Humanas: Adicione contexto qualitativo às execuções.

Variáveis de Ambiente

Variável	Descrição	Padrão
REGISTRY_PATH	Caminho para o registry	./.evaluation-registry
DEFAULT_MODEL	Modelo padrão para avaliações	gpt-4

Contribuindo

Contribuições são bem-vindas! Por favor, veja o repositório oficial para mais detalhes.