Community연구 & 데이터 분석github.com

NVIDIA/SkillEvaluator

AI 에이전트 스킬을 평가하기 위한 다중 계층 프레임워크로, 품질 게이트, 의미적 중복 탐지, 합성 평가 데이터셋 생성, 그리고 스킬이 에이전트 동작에 미치는 영향을 측정하는 실시간 에이전트 평가를 제공합니다.

SkillEvaluator란 무엇인가요?

SkillEvaluator는 AI 에이전트 스킬(예: Claude Code, Cursor, Codex용)의 품질과 효과를 평가하기 위해 설계된 포괄적인 평가 프레임워크입니다. 이 도구는 여러 평가 계층을 통해 스킬을 검증합니다: 품질 게이트는 기본적인 기준을 충족하는지 확인하고, 의미적 중복 탐지는 기존 스킬과의 중복을 식별하며, 합성 평가 데이터셋 생성은 다양한 시나리오를 테스트할 수 있도록 해줍니다. 가장 중요한 것은 실시간 에이전트 평가 기능으로, 스킬이 실제 에이전트 행동에 어떻게 영향을 미치는지 측정하여 개발자가 미묘한 동작 변화까지 포착할 수 있게 합니다. 이 프레임워크는 개발자와 AI 엔지니어가 고품질 스킬을 구축하고 유지하는 데 도움을 주며, 에이전트 성능 저하나 예상치 못한 동작을 유발하지 않도록 보장합니다. SkillEvaluator는 오픈소스로 제공되며, 다양한 개발 환경에 쉽게 통합될 수 있습니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add NVIDIA/SkillEvaluator

Installed? Explore more 연구 & 데이터 분석 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

간단

지침

사용자의 메모를 읽고 간결한 작업 항목 목록을 반환하세요. 메모에 명확한 작업이 없는 경우, 작업 항목을 찾을 수 없다고 말하세요.

예시

사용자: "내일 출시 체크리스트에 대해 Maya에게 연락하세요."

어시스턴트: "작업 항목: 내일 출시 체크리스트에 대해 Maya에게 연락하기."

관련 스킬