Communitygithub.com

SamuelChien/mega-skills-collection

성능 분석, 프롬프트 엔지니어링, 지속적 반복을 통한 기존 에이전트의 체계적인 개선

mega-skills-collection란 무엇인가요?

이 스킬은 기존 AI 에이전트의 성능과 안정성을 체계적으로 최적화하기 위한 종합적인 워크플로우를 제공합니다. 성능 메트릭 수집, 사용자 피드백 분석, 고급 프롬프트 엔지니어링 기법, A/B 테스트 및 단계적 롤아웃을 포함한 4단계 프로세스를 통해 에이전트를 지속적으로 개선합니다. 이 스킬은 Claude Code, Cursor, Codex와 같은 플랫폼에서 사용할 수 있으며, 체인 오브 소트, 퓨샷 예제 최적화, 역할 정의 개선, 헌법 AI 통합과 같은 기법을 활용하여 에이전트의 응답 품질을 향상시킵니다. 특히 성능 기준선 설정, 실패 모드 분류, 회귀 테스트, 롤백 절차를 통해 안전하게 배포할 수 있도록 설계되어 있어, 실제 운영 환경에서도 안정성을 유지하면서 에이전트 성능을 지속적으로 발전시킬 수 있습니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/SamuelChien/mega-skills-collection/tree/HEAD/agent-orchestration-improve-agent

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

에이전트 성능 최적화 워크플로우

성능 분석, 프롬프트 엔지니어링, 지속적 반복을 통한 기존 에이전트의 체계적인 개선

[확장된 사고: 에이전트 최적화는 성능 메트릭, 사용자 피드백 분석, 고급 프롬프트 엔지니어링 기술을 결합한 데이터 기반 접근 방식이 필요합니다. 성공은 체계적인 평가, 목표 지향적인 개선, 그리고 운영 안전성을 위한 롤백 기능을 갖춘 엄격한 테스트에 달려 있습니다.]

이 스킬을 사용해야 하는 경우

  • 기존 에이전트의 성능이나 안정성을 개선할 때
  • 실패 모드, 프롬프트 품질, 도구 사용 패턴을 분석할 때
  • 구조화된 A/B 테스트나 평가 스위트를 실행할 때
  • 에이전트를 위한 반복적 최적화 워크플로우를 설계할 때

이 스킬을 사용하지 말아야 하는 경우

  • 완전히 새로운 에이전트를 처음부터 구축할 때
  • 사용 가능한 메트릭, 피드백, 또는 테스트 케이스가 없을 때
  • 작업이 에이전트 성능이나 프롬프트 품질과 관련이 없을 때

지침

  1. 기준선 메트릭을 설정하고 대표적인 예제를 수집합니다.
  2. 실패 모드를 식별하고 영향력이 큰 수정 사항에 우선순위를 둡니다.
  3. 측정 가능한 목표를 가지고 프롬프트와 워크플로우 개선을 적용합니다.
  4. 테스트로 검증하고 통제된 단계에 걸쳐 변경 사항을 배포합니다.

안전

  • 회귀 테스트 없이 프롬프트 변경 사항을 배포하지 마십시오.
  • 품질 또는 안전 메트릭이 저하되면 신속하게 롤백하십시오.

1단계: 성능 분석 및 기준선 메트릭

컨텍스트 관리자를 사용한 과거 데이터 수집을 통한 에이전트 성능 종합 분석

1.1 성능 데이터 수집

사용: context-manager
명령: analyze-agent-performance $ARGUMENTS --days 30

수집할 메트릭:

  • 작업 완료율 (성공 vs 실패 작업)
  • 응답 정확성 및 사실적 정확도
  • 도구 사용 효율성 (올바른 도구, 호출 빈도)
  • 평균 응답 시간 및 토큰 소비량
  • 사용자 만족도 지표 (수정, 재시도)
  • 환각 발생률 및 오류 패턴

1.2 사용자 피드백 패턴 분석

사용자 상호작용에서 반복되는 패턴 식별:

  • 수정 패턴: 사용자가 일관되게 출력을 수정하는 지점
  • 명확화 요청: 일반적인 모호성 영역
  • 작업 포기: 사용자가 포기하는 지점
  • 후속 질문: 불완전한 응답의 지표
  • 긍정적 피드백: 유지해야 할 성공적인 패턴

1.3 실패 모드 분류

근본 원인별 실패 분류:

  • 지침 오해: 역할 또는 작업 혼동
  • 출력 형식 오류: 구조 또는 서식 문제
  • 컨텍스트 손실: 긴 대화 성능 저하
  • 도구 오용: 잘못되거나 비효율적인 도구 선택
  • 제약 위반: 안전 또는 비즈니스 규칙 위반
  • 엣지 케이스 처리: 비정상적인 입력 시나리오

1.4 기준선 성능 보고서

정량적 기준선 메트릭 생성:

성능 기준선:
- 작업 성공률: [X%]
- 작업당 평균 수정 횟수: [Y]
- 도구 호출 효율성: [Z%]
- 사용자 만족도 점수: [1-10]
- 평균 응답 지연 시간: [Xms]
- 토큰 효율성 비율: [X:Y]

2단계: 프롬프트 엔지니어링 개선

prompt-engineer 에이전트를 사용한 고급 프롬프트 최적화 기술 적용

2.1 체인 오브 소트 개선

구조화된 추론 패턴 구현:

사용: prompt-engineer
기술: chain-of-thought-optimization
  • 명시적 추론 단계 추가: "단계별로 접근해 보겠습니다..."
  • 자체 검증 체크포인트 포함: "진행하기 전에 다음을 확인하세요..."
  • 복잡한 작업을 위한 재귀적 분해 구현
  • 디버깅을 위한 추론 추적 가시성 추가

2.2 퓨샷 예제 최적화

성공적인 상호작용에서 고품질 예제 선별:

  • 다양한 예제 선택 일반적인 사용 사례 포함
  • 이전에 실패한 엣지 케이스 포함
  • 설명과 함께 긍정 및 부정 예제 모두 표시
  • 간단한 것부터 복잡한 순서로 예제 정렬
  • 주요 의사 결정 지점에 주석 달기

예제 구조:

좋은 예제:
입력: [사용자 요청]
추론: [단계별 사고 과정]
출력: [성공적인 응답]
이것이 작동하는 이유: [주요 성공 요인]

나쁜 예제:
입력: [유사한 요청]
출력: [실패한 응답]
실패 이유: [특정 문제]
올바른 접근 방식: [수정된 버전]

2.3 역할 정의 개선

에이전트 정체성 및 역량 강화:

  • 핵심 목적: 명확하고 한 문장으로 된 임무
  • 전문 분야: 특정 지식 영역
  • 행동 특성: 성격 및 상호작용 스타일
  • 도구 숙련도: 사용 가능한 도구와 사용 시기
  • 제약 사항: 에이전트가 하지 말아야 할 것
  • 성공 기준: 작업 완료를 측정하는 방법

2.4 헌법 AI 통합

자체 수정 메커니즘 구현:

헌법 원칙:
1. 응답 전 사실적 정확성 확인
2. 잠재적 편향 또는 유해 콘텐츠 자체 점검
3. 출력 형식이 요구 사항과 일치하는지 확인
4. 응답 완전성 보장
5. 이전 응답과의 일관성 유지

비판-수정 루프 추가:

  • 초기 응답 생성
  • 원칙에 따른 자체 비판
  • 문제 발견 시 자동 수정
  • 출력 전 최종 검증

2.5 출력 형식 조정

응답 구조 최적화:

  • 일반 작업을 위한 구조화된 템플릿
  • 복잡성에 따른 동적 서식
  • 상세 정보를 위한 점진적 공개
  • 가독성을 위한 마크다운 최적화
  • 구문 강조를 위한 코드 블록 서식
  • 데이터 표시를 위한 표 및 목록 생성

3단계: 테스트 및 검증

A/B 비교를 포함한 포괄적인 테스트 프레임워크

3.1 테스트 스위트 개발

대표적인 테스트 시나리오 생성:

테스트 카테고리:
1. 골든 패스 시나리오 (일반적인 성공 사례)
2. 이전에 실패한 작업 (회귀 테스트)
3. 엣지 케이스 및 코너 시나리오
4. 스트레스 테스트 (복잡한 다단계 작업)
5. 적대적 입력 (잠재적 중단 지점)
6. 교차 도메인 작업 (역량 결합)

3.2 A/B 테스트 프레임워크

원본 vs 개선된 에이전트 비교:

사용: parallel-test-runner
구성:
  - 에이전트 A: 원본 버전
  - 에이전트 B: 개선된 버전
  - 테스트 세트: 100개의 대표 작업
  - 메트릭: 성공률, 속도, 토큰 사용량
  - 평가: 블라인드 인간 검토 + 자동 점수

통계적 유의성 테스트:

  • 최소 표본 크기: 변형당 100개 작업
  • 신뢰 수준: 95% (p < 0.05)
  • 효과 크기 계산 (Cohen's d)
  • 향후 테스트를 위한 검정력 분석

3.3 평가 메트릭

종합 점수 프레임워크:

작업 수준 메트릭:

  • 완료율 (이진 성공/실패)
  • 정확도 점수 (0-100% 정확도)
  • 효율성 점수 (최적 대비 소요 단계)
  • 도구 사용 적절성
  • 응답 관련성 및 완전성

품질 메트릭:

  • 환각률 (응답당 사실적 오류 수)
  • 일관성 점수 (이전 응답과의 일관성)
  • 형식 준수 (지정된 구조와 일치)
  • 안전 점수 (제약 준수)
  • 사용자 만족도 예측

성능 메트릭:

  • 응답 지연 시간 (첫 번째 토큰까지의 시간)
  • 총 생성 시간
  • 토큰 소비량 (입력 + 출력)
  • 작업당 비용 (API 사용료)
  • 메모리/컨텍스트 효율성

3.4 인간 평가 프로토콜

구조화된 인간 검토 프로세스:

  • 블라인드 평가 (평가자는 버전을 모름)
  • 명확한 기준이 있는 표준화된 루브릭
  • 샘플당 여러 평가자 (평가자 간 신뢰도)
  • 정성적 피드백 수집
  • 선호도 순위 (A vs B 비교)

4단계: 버전 관리 및 배포

모니터링 및 롤백 기능을 갖춘 안전한 롤아웃

4.1 버전 관리

체계적인 버전 관리 전략:

버전 형식: agent-name-v[MAJOR].[MINOR].[PATCH]
예: customer-support-v2.3.1

MAJOR: 중요한 역량 변경
MINOR: 프롬프트 개선, 새로운 예제
PATCH: 버그 수정, 사소한 조정

버전 기록 유지:

  • Git 기반 프롬프트 저장
  • 개선 세부 정보가 포함된 변경 로그
  • 버전별 성능 메트릭
  • 문서화된 롤백 절차

4.2 단계적 롤아웃

점진적 배포 전략:

  1. 알파 테스트: 내부 팀 검증 (트래픽 5%)
  2. 베타 테스트: 선별된 사용자 (트래픽 20%)
  3. 카나리 릴리스: 점진적 증가 (20% → 50% → 100%)
  4. 전체 배포: 성공 기준 충족 후
  5. 모니터링 기간: 7일 관찰 기간

4.3 롤백 절차

빠른 복구 메커니즘:

롤백 트리거:
- 성공률이 기준선 대비 10% 이상 하락
- 심각한 오류 5% 이상 증가
- 사용자 불만 급증
- 작업당 비용 20% 이상 증가
- 안전 위반 감지

롤백 프로세스:
1. 모니터링을 통해 문제 감지
2. 즉시 팀에 알림
3. 이전 안정 버전으로 전환
4. 근본 원인 분석
5. 재시도 전 수정 및 재테스트

4.4 지속적 모니터링

실시간 성능 추적:

  • 주요 메트릭 대시보드
  • 이상 감지 알림
  • 사용자 피드백 수집
  • 자동화된 회귀 테스트
  • 주간 성능 보고서

성공 기준

다음 조건을 충족할 때 에이전트 개선이 성공한 것으로 간주:

  • 작업 성공률 15% 이상 향상
  • 사용자 수정 25% 이상 감소
  • 안전 위반 증가 없음
  • 응답 시간 기준선 대비 10% 이내 유지
  • 작업당 비용 5% 이상 증가 없음
  • 긍정적 사용자 피드백 증가

배포 후 검토

프로덕션 사용 30일 후:

  1. 누적된 성능 데이터 분석
  2. 기준선 및 목표와 비교
  3. 새로운 개선 기회 식별
  4. 교훈 문서화
  5. 다음 최적화 주기 계획

지속적 개선 주기

정기적인 개선 주기 설정:

  • 매주: 메트릭 모니터링 및 피드백 수집
  • 매월: 패턴 분석 및 개선 계획
  • 분기별: 새로운 역량을 갖춘 주요 버전 업데이트
  • 매년: 전략적 검토 및 아키텍처 업데이트

기억하세요: 에이전트 최적화는 반복적인 프로세스입니다. 각 주기는 이전 학습을 기반으로 하여 안정성과 안전성을 유지하면서 성능을 점진적으로 개선합니다.

제한 사항

  • 작업이 위에 설명된 범위와 명확히 일치하는 경우에만 이 스킬을 사용하십시오.
  • 출력을 환경별 검증, 테스트 또는 전문가 검토의 대체물로 취급하지 마십시오.
  • 필수 입력, 권한, 안전 경계 또는 성공 기준이 누락된 경우 중단하고 명확화를 요청하십시오.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

SamuelChien/mega-skills-collection

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

SamuelChien/mega-skills-collection

Arquitecto de Soluciones Principal y Consultor Tecnológico de Andru.ia. Diagnostica y traza la hoja de ruta óptima para proyectos de IA en español.

SamuelChien/mega-skills-collection

Ingeniero de Sistemas de Andru.ia. Diseña, redacta y despliega nuevas habilidades (skills) dentro del repositorio siguiendo el Estándar de Diamante.

SamuelChien/mega-skills-collection

Estratega de Inteligencia de Dominio de Andru.ia. Analiza el nicho específico de un proyecto para inyectar conocimientos, regulaciones y estándares únicos del sector. Actívalo tras definir el nicho.

SamuelChien/mega-skills-collection

2D game development principles. Sprites, tilemaps, physics, camera.

SamuelChien/mega-skills-collection

3D game development principles. Rendering, shaders, physics, cameras.

SamuelChien/mega-skills-collection

Expert in building 3D experiences for the web - Three.js, React Three Fiber, Spline, WebGL, and interactive 3D scenes. Covers product configurators, 3D portfolios, immersive websites, and bringing depth to web experiences.

SamuelChien/mega-skills-collection

Accessibility audit skill for scanning, fixing, and verifying WCAG 2.2 Level A and AA compliance across React, Next.js, Vue, Angular, Svelte, and plain HTML codebases. Use when auditing accessibility, fixing a11y violations, checking color contrast, generating compliance reports, or integrating accessibility checks into CI/CD pipelines.

SamuelChien/mega-skills-collection

Ab Test Analyzer - Auto-activating skill for Data Analytics. Triggers on: ab test analyzer, ab test analyzer Part of the Data Analytics skill category.

SamuelChien/mega-skills-collection

A B Test Config Creator - Auto-activating skill for ML Deployment. Triggers on: a b test config creator, a b test config creator Part of the ML Deployment skill category.

SamuelChien/mega-skills-collection

When the user wants to plan, design, or implement an A/B test or experiment. Also use when the user mentions "A/B test," "split test," "experiment," "test this change," "variant copy," "multivariate test," "hypothesis," "conversion experiment," "statistical significance," or "test this." For tracking implementation, see analytics-tracking.

SamuelChien/mega-skills-collection

Acceptance Criteria Creator - Auto-activating skill for Enterprise Workflows. Triggers on: acceptance criteria creator, acceptance criteria creator Part of the Enterprise Workflows skill category.

SamuelChien/mega-skills-collection

Use when a coding task should be driven end-to-end from issue intake through implementation, review, deployment, and acceptance verification with minimal human re-intervention.

SamuelChien/mega-skills-collection

Accessibility Audit Runner - Auto-activating skill for Frontend Development. Triggers on: accessibility audit runner, accessibility audit runner Part of the Frontend Development skill category.

SamuelChien/mega-skills-collection

You are an accessibility expert specializing in WCAG compliance, inclusive design, and assistive technology compatibility. Conduct audits, identify barriers, and provide remediation guidance.

SamuelChien/mega-skills-collection

Web accessibility patterns for WCAG 2.2 compliance including ARIA, keyboard navigation, screen readers, and testing

SamuelChien/mega-skills-collection

Manage Discord channel access — approve pairings, edit allowlists, set DM/group policy. Use when the user asks to pair, approve someone, check who's allowed, or change policy for the Discord channel.

SamuelChien/mega-skills-collection

Create unified specification packages across Business, Development, and Design teams. Staged elaboration (L0 Vision → L1 Requirements → L2 Team Detail → L3 Acceptance Criteria) to build shared understanding. Does not write code.

SamuelChien/mega-skills-collection

Research a company or person and get actionable sales intel. Works standalone with web search, supercharged when you connect enrichment tools or your CRM. Trigger with "research [company]", "look up [person]", "intel on [prospect]", "who is [name] at [company]", or "tell me about [company]".

SamuelChien/mega-skills-collection

Validate messaging consistency across website, GitHub repos, and local documentation generating read-only discrepancy reports. Use when checking content alignment or finding mixed messaging. Trigger with phrases like "check consistency", "validate documentation", or "audit messaging".

관련 스킬