vshwsh/prod-evals-cookbook

prod-evals-cookbook란 무엇인가요?

이 스킬은 개발자와 AI 에이전트 사용자를 위해 설계된 실습형 튜토리얼로, 프로덕션 환경에서 AI 평가(evals)를 효과적으로 구축하는 방법을 가르칩니다. 실제 에이전트 예제를 기반으로 하여, 평가 지표 설계, 테스트 케이스 작성, 결과 분석 등 AI 시스템의 신뢰성과 성능을 측정하고 개선하는 데 필요한 핵심 개념과 모범 사례를 다룹니다. GitHub 저장소에서 제공되는 코드와 가이드를 따라 직접 실습할 수 있으며, Claude Code, Cursor, Codex 등 다양한 AI 에이전트 플랫폼과 호환됩니다. 이 스킬은 프로덕션에 배포된 AI 시스템의 품질을 지속적으로 모니터링하고 개선하려는 팀에게 특히 유용하며, 평가 파이프라인을 체계적으로 구축하는 방법을 단계별로 안내합니다.