eval-bench은(는) 무엇을 하나요?
Claude Code 플러그인/스킬/에이전트/MCP를 A/B 비교하고 LLM 판단 평가 프롬프트로 버전을 벤치마킹합니다.
Claude Code 플러그인/스킬/에이전트/MCP를 A/B 비교하고 LLM 판단 평가 프롬프트로 버전을 벤치마킹합니다.
이 스킬은 Claude Code를 포함한 AI 에이전트 개발자들이 플러그인, 스킬, 에이전트, 또는 MCP(모델 컨텍스트 프로토콜)의 서로 다른 버전을 체계적으로 비교하고 평가할 수 있도록 설계되었습니다. A/B 테스트 방식을 사용하여 두 버전을 동일한 평가 프롬프트로 실행한 후, LLM(언어 모델)이 결과를 판단하여 더 나은 버전을 객관적으로 평가합니다. 이를 통해 개발자는 단순한 직관이나 주관적인 피드백이 아닌, 반복 가능하고 LLM 기반의 측정 기준을 기반으로 성능을 최적화할 수 있습니다. 이 도구는 Claude Code 에코시스템에 특화되어 있으며, 커스텀 평가 기준을 정의하고 상세한 비교 보고서를 생성하여 빠른 실험과 반복을 지원합니다.
npx skills add derberg/eval-benchInstalled? Explore more 코딩 & 개발 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
Claude Code 플러그인/스킬/에이전트/MCP를 A/B 비교하고 LLM 판단 평가 프롬프트로 버전을 벤치마킹합니다.
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.