numerataz/instrument-experiment

instrument-experiment은(는) 무엇을 하나요?

p95를 사용하여 훈련 실험을 계측하는 Claude 스킬입니다.

개요

이 스킬은 p95 프로파일러를 활용하여 머신러닝 훈련 실험의 성능 메트릭을 자동으로 수집하고 분석합니다. 실험 설정 및 계측 과정을 간소화하여 개발자가 더 빠르게 성능 병목을 파악할 수 있도록 지원합니다.

지원 플랫폼

• Claude Code
• Cursor
• Codex

사용 방법

1. 훈련 스크립트가 있는 디렉토리에서 Claude 에이전트를 실행합니다.

2. 다음 명령어 중 하나를 입력하여 스킬을 활성화합니다:

   • instrument this experiment
   • profile training with p95
   • add instrumentation

3. Claude가 자동으로 p95 계측 코드를 훈련 스크립트에 추가하고 실행합니다.

주요 기능

• 자동 계측: 훈련 스크립트에 p95 프로파일러를 자동으로 삽입
• 메트릭 수집: GPU 사용률, 메모리, 처리량 등 핵심 성능 데이터 수집
• 결과 분석: 수집된 메트릭을 요약하여 병목 지점 제안
• 비교 모드: 여러 실험 간 성능 비교 지원 (compare experiments)

예제

# 훈련 스크립트 계측
claude instrument this experiment

# 두 실험 비교
claude compare experiments run1 run2

참고

• p95가 설치되어 있어야 합니다 (설치: pip install p95 또는 공식 문서 참조)
• GPU 메트릭 수집을 위해 NVIDIA SMI가 필요할 수 있습니다.