lauinis/quorum
Um sistema multiagente (MAS) que implementa uma estrutura híbrida para avaliação de habilidades de IA de alto risco. Ele combina rubricas analíticas com debate adversarial entre agentes para fornecer avaliações auditáveis, válidas e confiáveis de domínio cognitivo complexo.
Visão Geral
O Quorum foi projetado para substituir avaliações tradicionais de IA, que muitas vezes dependem de métricas simplistas ou julgamento humano subjetivo. Em vez disso, ele orquestra um painel de agentes especializados que:
- Avaliam respostas com base em rubricas analíticas detalhadas.
- Debatem entre si em um formato adversarial, identificando pontos fortes e fracos.
- Produzem uma pontuação final e um relatório auditável do processo.
Como Funciona
- Entrada: O avaliador recebe uma pergunta ou tarefa complexa e uma resposta gerada por IA.
- Rubricas: Rubricas pré-definidas são aplicadas para medir critérios como precisão, profundidade, originalidade e clareza.
- Debate: Agentes com papéis opostos (ex: defensor e crítico) discutem a validade de cada critério, forçando uma análise mais profunda.
- Consenso: Um mecanismo de votação ou ponderação gera uma avaliação final, junto com um registro completo do debate.
Exemplo de Uso
# Exemplo de comando para iniciar uma avaliação (CLI fictícia)
quorum evaluate --rubric advanced-math --response "A resposta para a equação é..." --verbose
Variáveis de Ambiente
QUORUM_API_KEY: Chave de API para serviços externos (se necessário).QUORUM_DEBATE_TURNS: Número de rodadas de debate (padrão: 3).
Plataformas Suportadas
- Claude Code
- Cursor
- Codex
Licença
Este projeto está sob a licença MIT. Consulte o arquivo LICENSE para mais detalhes.
Nota: Este skill é experimental e está em desenvolvimento ativo. Feedbacks e contribuições são bem-vindos.