Avaliar agentes de navegador em tarefas web repetíveis do Playwright com Bananalyzer
Execute um conjunto de avaliações repetíveis para agentes de navegador usando snapshots estáticos de tarefas web, em vez de julgá-los por demonstrações ou testes isolados.
Pré-requisitos
Ambiente Python, runtime do navegador Playwright, execução de testes baseada em pytest, implementação de AgentRunner personalizada, exemplos de snapshots de tarefas web
Instalação
Requisitos e observações do upstream:
- site individual. Para que um agente generalize bem, é necessário construir um conjunto diversificado de sites da web
- No futuro, ofereceremos suporte a métodos de avaliação mais complexos e exemplos que exijam várias etapas para serem concluídos.
Notas de uso básico ou primeiros passos:
-
Banana-lyzer é uma ferramenta de linha de comando que executa um conjunto de avaliações em um conjunto de sites de exemplo.
-
A ferramenta CLI executa sequencialmente os exemplos em um agente definido pelo usuário, construindo dinamicamente uma suíte de testes pytest.
-
AgentRunner expõe o exemplo e um contexto do navegador Playwright para uso.
-
Extraído da documentação upstream: https://raw.githubusercontent.com/reworkd/bananalyzer/HEAD/README.md