Bananalyzer로 브라우저 에이전트 벤치마크 (반복 가능한 Playwright 웹 태스크)
정적 웹 태스크 스냅샷을 활용해 브라우저 에이전트를 반복 가능한 평가 스위트로 테스트하세요. 데모나 일회성 테스트 대신 신뢰할 수 있는 평가를 제공합니다.
사전 요구 사항
Python 환경, Playwright 브라우저 런타임, pytest 기반 테스트 실행, 사용자 정의 AgentRunner 구현, 예제 웹 태스크 스냅샷
설치
업스트림의 요구 사항 및 주의 사항:
- 개별 웹사이트. 에이전트가 최적으로 일반화하려면 다양한 웹사이트 데이터셋을 구축해야 합니다.
- 향후 다단계 완료가 필요한 더 복잡한 평가 방법과 예제를 지원할 예정입니다.
기본 사용법 또는 시작 노트:
-
Banana-lyzer는 예제 웹사이트 세트에 대해 평가를 실행하는 CLI 도구입니다.
-
CLI 도구는 사용자 정의 에이전트에 대해 예제를 순차적으로 실행하며, pytest 테스트 스위트를 동적으로 구성합니다.
-
AgentRunner는 예제와 Playwright 브라우저 컨텍스트를 제공합니다.
-
업스트림 문서에서 추출: https://raw.githubusercontent.com/reworkd/bananalyzer/HEAD/README.md