O que perform_comparison_1c_rag_mcp faz?
Avalia o desempenho de servidores MCP baseados em RAG e RLM para codebases 1C usando testes E2E automatizados para otimizar a integração com assistentes de IA.
Visão Geral
Esta ferramenta automatizada compara servidores MCP que fornecem contexto a assistentes de IA (como Claude Code, Cursor, Codex) a partir de repositórios de código 1C. Ela usa testes end-to-end para medir:
- Tempo de resposta: Quão rápido cada servidor responde a consultas.
- Precisão: Relevância das informações recuperadas para o contexto da consulta.
- Cobertura: Capacidade de encontrar código ou documentação relevante no repositório.
Como Funciona
- Configuração: O usuário define um diretório contendo o código 1C e especifica os servidores MCP a serem testados.
- Execução: A skill executa um conjunto de consultas predefinidas contra cada servidor, simulando interações reais de um assistente de IA.
- Relatório: Gera um relatório comparativo com gráficos e estatísticas, destacando qual abordagem (RAG ou RLM) é mais adequada para o cenário.
Plataformas Suportadas
- Claude Code
- Cursor
- Codex
- Qualquer assistente que implemente o protocolo MCP
Pré-requisitos
- Node.js 18 ou superior
- Python 3.8+ (para scripts auxiliares)
- Acesso ao repositório 1C (local ou via URL)
Instalação
npm install -g jeebusgoodwin-netizen/perform_comparison_1c_rag_mcp
Uso
perform-comparison --path /caminho/para/codigo-1c --server mcp-server-rag --server mcp-server-rlm
Exemplo de Saída
| Servidor | Tempo Médio (ms) | Precisão (%) | Cobertura (%) |
|---|---|---|---|
| RAG | 450 | 92 | 88 |
| RLM | 320 | 85 | 91 |
Contribuição
Contribuições são bem-vindas! Envie pull requests com melhorias ou novos adaptadores para outros servidores MCP.
Licença
MIT