orq-skills은(는) 무엇을 하나요?
orq.ai 플랫폼에서 LLM 파이프라인을 체계적으로 평가하기 위한 코딩 에이전트 스킬입니다.
이 스킬은 개발자와 AI 에이전트가 orq.ai에서 LLM 기반 애플리케이션의 성능을 평가하고 최적화하는 데 도움을 줍니다. 평가 지표 설정, 테스트 데이터 관리, 결과 분석 및 반복적 개선을 위한 워크플로우를 제공합니다.
주요 기능
- 평가 지표 정의: 정확도, 관련성, 일관성 등 다양한 지표를 설정할 수 있습니다.
- 테스트 데이터 관리: 데이터셋을 업로드하고 관리합니다.
- 자동화된 평가: 파이프라인 실행 후 자동으로 평가를 수행합니다.
- 결과 시각화: 평가 결과를 차트와 그래프로 확인합니다.
- 반복적 개선: 평가 결과를 기반으로 파이프라인을 수정하고 재평가합니다.
사용 방법
- orq.ai 계정에 로그인하고 API 키를 설정합니다.
- 평가할 LLM 파이프라인을 정의합니다.
- 평가 지표와 테스트 데이터를 구성합니다.
- 스킬을 실행하여 평가를 수행합니다.
- 결과를 분석하고 파이프라인을 개선합니다.
지원 플랫폼
- Claude Code
- Cursor
- Codex
- 기타 코딩 에이전트
참고
orq.ai 플랫폼에 대한 자세한 내용은 orq.ai 문서를 참조하세요.