insipidityincus22/golf-testing

golf-testing은(는) 무엇을 하나요?

🧪 AI 에이전트와 LLM 평가자를 사용하여 MCP 서버를 테스트하고 자연어 상호작용 및 성능 평가의 효율성을 보장합니다.

개요

이 스킬은 MCP(Model Context Protocol) 서버의 기능을 자동으로 테스트하기 위해 설계되었습니다. AI 에이전트(Claude Code, Cursor, Codex 등)와 LLM 평가자를 활용하여 자연어 기반 상호작용의 정확성과 일관성을 검증합니다.

기능

• 테스트 케이스 실행: 사전 정의된 시나리오에 따라 MCP 서버의 응답을 테스트합니다.
• LLM 평가: GPT-4, Claude 등의 LLM을 평가자로 사용하여 응답 품질을 측정합니다.
• 성능 메트릭: 응답 시간, 정확도, 일관성 등을 추적합니다.
• 보고서 생성: 테스트 결과를 요약한 리포트를 Markdown 형식으로 제공합니다.

지원 플랫폼

• Claude Code
• Cursor
• Codex
• 기타 AI 코딩 어시스턴트

사용 방법

1. MCP 서버 설정 파일(mcp.json 또는 mcp.yaml)이 프로젝트 루트에 있는지 확인합니다.
2. 다음 명령어를 실행하여 테스트를 시작합니다:

test-mcp --server <server-name> --cases ./test-cases

3. 테스트 결과는 ./reports/ 디렉토리에 저장됩니다.

환경 변수

변수명	설명	기본값
MCP_SERVER	테스트할 MCP 서버 이름	없음
LLM_JUDGE	평가에 사용할 LLM 모델	gpt-4
REPORT_PATH	결과 보고서 저장 경로	./reports

테스트 예제

# test-cases/weather.yaml
name: weather-query
description: 사용자가 날씨를 물을 때 올바른 응답을 반환하는지 테스트
prompt: "서울의 현재 날씨는?"
expected:
  - 응답에 온도 정보 포함
  - 응답에 날씨 상태(맑음, 흐림 등) 포함

라이선스

MIT