avaliação-avançada

Avaliação Avançada

Esta skill cobre técnicas de nível de produção para avaliar saídas de LLMs usando LLMs como juízes. Ela sintetiza pesquisa de artigos acadêmicos, práticas da indústria e experiência prática de implementação em padrões acionáveis para construir sistemas de avaliação confiáveis.

Insight chave: LLM-como-Juiz não é uma técnica única, mas uma família de abordagens, cada uma adequada a diferentes contextos de avaliação. Escolher a abordagem certa e mitigar vieses conhecidos é a competência central que esta skill desenvolve.

Quando Ativar

Ative esta skill quando:

• Construindo sistemas LLM-como-juiz para saídas de LLMs
• Comparando múltiplas respostas de modelo para selecionar a melhor
• Estabelecendo padrões de qualidade consistentes entre equipes de avaliação
• Depurando sistemas de avaliação que mostram resultados inconsistentes
• Projetando testes A/B para alterações de prompt ou modelo
• Criando rubricas especificamente para juízes LLM ou híbridos humano/LLM
• Analisando correlação entre julgamentos automatizados e humanos

Não ative esta skill para trabalhos adjacentes de responsabilidade de outras skills:

• Verificações determinísticas gerais, suites de regressão, portões de qualidade de produção ou métricas de resultado: evaluation.
• Governança de loop autônomo, rubricas travadas, rollback ou limites de aprovação de PR: harness-engineering.
• Contratos de API de ferramentas para ferramentas de avaliação: tool-design.

Conceitos Centrais

A Taxonomia de Avaliação

Selecione entre duas abordagens principais com base na existência de verdade absoluta:

Pontuação Direta — Use quando existem critérios objetivos (precisão factual, seguimento de instruções, toxicidade). Um único LLM classifica uma resposta em uma escala definida. Alcança confiabilidade moderada a alta para critérios bem definidos. Cuidado com a deriva de calibração de pontuação e interpretação inconsistente da escala.

Comparação Pareada — Use para preferências subjetivas (tom, estilo, persuasão). Um LLM compara duas respostas e seleciona a melhor. Métodos pareados frequentemente se correlacionam melhor com a preferência humana do que a pontuação direta aberta para tarefas subjetivas (claim-advanced-evaluation-position-swap). Cuidado com viés de posição e viés de comprimento.

O Panorama de Vieses

Mitigue estes vieses sistemáticos em todo sistema de avaliação:

Viés de Posição: Respostas na primeira posição recebem tratamento preferencial. Mitigue avaliando duas vezes com posições trocadas, depois aplique voto majoritário ou verificação de consistência.

Viés de Comprimento: Respostas mais longas pontuam mais alto independentemente da qualidade. Mitigue instruindo explicitamente a ignorar o comprimento e aplicando pontuação normalizada por comprimento.

Viés de Autovalorização: Modelos avaliam suas próprias saídas mais alto. Mitigue usando modelos diferentes para geração e avaliação.

Viés de Verbosidade: Detalhes excessivos pontuam mais alto mesmo quando desnecessários. Mitigue com rubricas específicas de critério que penalizam detalhes irrelevantes.

Viés de Autoridade: Tom confiante pontua mais alto independentemente da precisão. Mitigue exigindo citação de evidências e adicionando uma camada de verificação factual.

Estrutura de Seleção de Métricas

Combine métricas com a estrutura da tarefa de avaliação:

Tipo de Tarefa	Métricas Primárias	Métricas Secundárias
Classificação binária (passa/falha)	Recall, Precisão, F1	Kappa de Cohen
Escala ordinal (classificação 1-5)	Rho de Spearman, Tau de Kendall	Kappa de Cohen (ponderado)
Preferência pareada	Taxa de concordância, Consistência de posição	Calibração de confiança
Multirrótulo	Macro-F1, Micro-F1	Precisão/Recall por rótulo

Priorize padrões de discordância sistemáticos em vez de taxas de concordância absolutas porque um juiz que discorda consistentemente dos humanos em critérios específicos é mais problemático do que um com ruído aleatório.

Abordagens de Avaliação

Implementação de Pontuação Direta

Construa pontuação direta com três componentes: critérios claros, uma escala calibrada e formato de saída estruturado.

Padrão de Definição de Critério:

Critério: [Nome]
Descrição: [O que este critério mede]
Peso: [Importância relativa, 0-1]

Calibração de Escala — Escolha a granularidade da escala com base no detalhe da rubrica:

• 1-3: Binário com opção neutra, menor carga cognitiva
• 1-5: Likert padrão, melhor equilíbrio entre granularidade e confiabilidade
• 1-10: Use apenas com rubricas detalhadas por nível, pois a calibração é mais difícil

Estrutura de Prompt para Pontuação Direta:

Você é um avaliador especialista avaliando a qualidade da resposta.

## Tarefa
Avalie a seguinte resposta de acordo com cada critério.

## Prompt Original
{prompt}

## Resposta para Avaliar
{response}

## Critérios
{para cada critério: nome, descrição, peso}

## Instruções
Para cada critério:
1. Encontre evidências específicas na resposta
2. Pontue de acordo com a rubrica (escala 1-{max})
3. Justifique sua pontuação com evidências
4. Sugira uma melhoria específica

## Formato de Saída
Responda com JSON estruturado contendo pontuações, justificativas e resumo.

Exija evidências antes da pontuação em prompts de pontuação para que o juiz ancore sua decisão em características observáveis da saída antes de emitir um número.

Implementação de Comparação Pareada

Aplique mitigação de viés de posição em toda avaliação pareada:

1. Execute verificações prévias determinísticas primeiro: ambos os candidatos devem satisfazer o mesmo esquema, requisitos de evidência de fonte e restrições de escopo.
2. Primeira passagem do juiz: Resposta A na primeira posição, Resposta B na segunda.
3. Segunda passagem do juiz: Resposta B na primeira posição, Resposta A na segunda.
4. Verificação de consistência: Se as passagens discordarem, retorne EMPATE com confiança reduzida.
5. Veredito final: Vencedor consistente com confiança média e justificativa explícita de desempate.

Estrutura de Prompt para Comparação Pareada:

Você é um avaliador especialista comparando duas respostas de IA.

## Instruções Críticas
- NÃO prefira respostas porque são mais longas
- NÃO prefira respostas com base na posição (primeira vs segunda)
- Concentre-se APENAS na qualidade de acordo com os critérios especificados
- Empates são aceitáveis quando as respostas são genuinamente equivalentes

## Prompt Original
{prompt}

## Resposta A
{response_a}

## Resposta B
{response_b}

## Critérios de Comparação
{lista de critérios}

## Instruções
1. Analise cada resposta independentemente primeiro
2. Compare-as em cada critério
3. Determine o vencedor geral com nível de confiança

## Formato de Saída
JSON com comparação por critério, vencedor geral, confiança (0-1) e raciocínio.

Calibração de Confiança — Mapeie confiança para consistência de posição:

• Ambas as passagens concordam: confiança = média das confianças individuais
• Passagens discordam: confiança = 0.5, veredito = EMPATE

Geração de Rubricas

Gere rubricas para reduzir a variância de avaliação em comparação com a pontuação aberta. Trate a redução exata da variância como dependente da carga de trabalho, a menos que medida no conjunto de avaliação alvo.

Inclua estes componentes da rubrica:

1. Descrições de nível: Limites claros para cada nível de pontuação
2. Características: Características observáveis que definem cada nível
3. Exemplos: Texto representativo para cada nível (opcional, mas valioso)
4. Casos limítrofes: Orientação para situações ambíguas
5. Diretrizes de pontuação: Princípios gerais para aplicação consistente

Defina a calibração de rigor para o caso de uso:

• Leniente: Barra de aprovação mais baixa, apropriada para incentivar iteração
• Equilibrado: Expectativas típicas de produção
• Rigoroso: Padrões elevados para avaliação crítica de segurança ou alto risco

Adapte rubricas ao domínio — use terminologia específica do domínio. Uma rubrica de legibilidade de código menciona variáveis, funções e comentários. Uma rubrica de precisão médica referencia terminologia clínica e padrões de evidência.

Orientação Prática

Design de Pipeline de Avaliação

Construa sistemas de avaliação de produção com estas camadas: Carregador de Critérios (rubricas + pesos) -> Pontuador Primário (direto ou pareado) -> Mitigação de Viés (troca de posição, etc.) -> Pontuação de Confiança (calibração) -> Saída (pontuações + justificativas + confiança). Veja o Diagrama do Pipeline de Avaliação para o layout visual completo.

Estrutura de Decisão: Direto vs. Pareado

Aplique esta árvore de decisão:

Existe uma verdade absoluta objetiva?
+-- Sim -> Pontuação Direta
|   Exemplos: precisão factual, seguimento de instruções, conformidade de formato
|
+-- Não -> É um julgamento de preferência ou qualidade?
    +-- Sim -> Comparação Pareada
    |   Exemplos: tom, estilo, persuasão, criatividade
    |
    +-- Não -> Considere avaliação baseada em referência
        Exemplos: sumarização (comparar com fonte), tradução (comparar com referência)

Escalonando a Avaliação

Para avaliação de alto volume, aplique uma destas estratégias:

1. Painel de LLMs (PoLL): Use múltiplos modelos como juízes e agregue votos para reduzir o viés individual do modelo. Mais caro, mas mais confiável para decisões de alto risco.

2. Avaliação hierárquica: Use um modelo rápido e barato para triagem e um modelo caro para casos limítrofes. Requer calibração do limite de triagem.

3. Humano no loop: Automatize casos claros e encaminhe decisões de baixa confiança para revisão humana. Projete loops de feedback para melhorar a avaliação automatizada ao longo do tempo.

Exemplos

Exemplo 1: Pontuação Direta para Precisão

Entrada:

Prompt: "O que causa as estações na Terra?"
Resposta: "As estações são causadas pelo eixo inclinado da Terra. À medida que a Terra orbita o Sol,
diferentes hemisférios recebem luz solar mais direta em diferentes épocas do ano."
Critério: Precisão Factual (peso: 1.0)
Escala: 1-5

Saída:

{
  "criterion": "Precisão Factual",
  "score": 5,
  "evidence": [
    "Identifica corretamente a inclinação axial como causa primária",
    "Explica corretamente a luz solar diferencial por hemisfério",
    "Nenhum erro factual presente"
  ],
  "justification": "A resposta explica com precisão a causa das estações com raciocínio
científico correto. Tanto a inclinação axial quanto seu efeito na distribuição da luz solar
são descritos corretamente.",
  "improvement": "Poderia adicionar o ângulo específico de inclinação (23,5 graus) para completude."
}

Exemplo 2: Comparação Pareada com Troca de Posição

Entrada:

Prompt: "Explique aprendizado de máquina para um iniciante"
Resposta A: [Explicação técnica com jargão]
Resposta B: [Explicação simples baseada em analogia]
Critérios: ["clareza", "acessibilidade"]

Primeira Passagem (A primeiro):

{ "winner": "B", "confidence": 0.8 }

Segunda Passagem (B primeiro):

{ "winner": "A", "confidence": 0.6 }

(Nota: O vencedor é A porque B estava na primeira posição)

Segunda Passagem Mapeada:

{ "winner": "B", "confidence": 0.6 }

Resultado Final:

{
  "winner": "B",
  "confidence": 0.7,
  "positionConsistency": {
    "consistent": true,
    "firstPassWinner": "B",
    "secondPassWinner": "B"
  }
}

Exemplo 3: Geração de Rubrica

Entrada:

nomeDoCriterio: "Legibilidade de Código"
descricaoDoCriterio: "O quão fácil o código é de entender e manter"
dominio: "engenharia de software"
escala: "1-5"
rigor: "equilibrado"

Saída (abreviada):

{
  "levels": [
    {
      "score": 1,
      "label": "Ruim",
      "description": "Código é difícil de entender sem esforço significativo",
      "characteristics": [
        "Nenhum nome significativo de variável ou função",
        "Sem comentários ou documentação",
        "Lógica profundamente aninhada ou convoluída"
      ]
    },
    {
      "score": 3,
      "label": "Adequado",
      "description": "Código é compreensível com algum esforço",
      "characteristics": [
        "A maioria das variáveis tem nomes significativos",
        "Comentários básicos presentes para seções complexas",
        "Lógica é acompanhável, mas poderia ser mais limpa"
      ]
    },
    {
      "score": 5,
      "label": "Excelente",
      "description": "Código é imediatamente claro e sustentável",
      "characteristics": [
        "Todos os nomes são descritivos e consistentes",
        "Documentação abrangente",
        "Estrutura limpa e modular"
      ]
    }
  ],
  "edgeCases": [
    {
      "situation": "Código é bem estruturado, mas usa abreviações específicas do domínio",
      "guidance": "Pontue com base na legibilidade para especialistas do domínio, não para o público geral"
    }
  ]
}

Diretrizes

1. Sempre exija evidências antes das pontuações - Prompts com evidência primeiro tornam os julgamentos mais fáceis de auditar e reduzem pontuações numéricas sem fundamento.

2. Sempre troque posições na comparação pareada - A comparação de passagem única é corrompida pelo viés de posição.

3. Combine a granularidade da escala com a especificidade da rubrica - Não use 1-10 sem descrições de nível detalhadas.

4. Separe critérios objetivos e subjetivos - Use pontuação direta para objetivos, pareada para subjetivos.

5. Inclua pontuações de confiança - Calibre para consistência de posição e força da evidência.

6. Defina casos limítrofes explicitamente - Situações ambíguas causam a maior variância de avaliação.

7. Use rubricas específicas do domínio - Rubricas genéricas produzem avaliações genéricas (menos úteis).

8. Valide contra julgamentos humanos - A avaliação automatizada só é valiosa se correlacionada com a avaliação humana.

9. Monitore para viés sistemático - Acompanhe padrões de discordância por critério, tipo de resposta, modelo.

10. Projete para iteração - Sistemas de avaliação melhoram com loops de feedback.

Armadilhas

1. Pontuação sem justificativa: Pontuações carecem de fundamentação e são difíceis de depurar. Sempre exija justificativa baseada em evidências antes da pontuação.

2. Comparação pareada de passagem única: O viés de posição corrompe os resultados quando as posições não são trocadas. Sempre avalie duas vezes com posições trocadas e verifique a consistência.

3. Critérios sobrecarregados: Critérios que medem várias coisas ao mesmo tempo produzem pontuações não confiáveis. Imponha um critério = um aspecto mensurável.

4. Falta de orientação para casos limítrofes: Avaliadores lidam com casos ambíguos de forma inconsistente sem instruções explícitas. Inclua casos limítrofes nas rubricas com regras de resolução claras.

5. Ignorar a calibração de confiança: Julgamentos errados com alta confiança são piores do que com baixa confiança. Calibre a confiança com a consistência de posição e a força da evidência.