AQBE은(는) 무엇을 하나요?
양자화된 LLM의 에이전틱 워크플로우를 위한 일반화된 평가 프레임워크
출처: https://github.com/minyang-chen/AQBE
지난 24시간 동안 GitHub에 푸시된 에이전트 스킬, Claude/Codex/Gemini 워크플로우, MCP 도구 및 관련 AI 에이전트 자동화 레포지토리에서 발견됨.
설치
git clone https://github.com/minyang-chen/AQBE.git
cd AQBE
pip install -r requirements.txt
사용법
기본 실행
python evaluate.py --model <모델_경로> --tasks <작업_목록>
양자화된 모델 평가
python evaluate.py --model <모델_경로> --quantization int4 --benchmark agentic
에이전틱 워크플로우 평가
다음 명령어로 에이전틱 작업을 실행할 수 있습니다:
python agent_eval.py --workflow <워크플로우_유형> --model <모델_경로>
지원되는 워크플로우 유형:
tool_use: 도구 사용 능력multi_step: 다중 단계 추론memory: 메모리 집약적 작업
구성
환경 변수를 통해 설정을 사용자 정의할 수 있습니다:
export AQBE_MODEL_DIR="/path/to/models"
export AQBE_OUTPUT_DIR="/path/to/output"
export AQBE_NUM_THREADS=8
출력
평가 결과는 output/ 디렉토리 아래 JSON 및 CSV 형식으로 저장됩니다. 주요 지표는 다음과 같습니다:
- 작업 완료율
- 응답 정확도
- 추론 시간
- 메모리 사용량
라이선스
MIT