LangSmith 평가 파이프라인 구축 시 이 스킬을 호출하세요. 평가자 생성, 실행 함수 정의, 평가 실행 등 세 가지 핵심 구성 요소를 다룹니다.
이 스킬은 LangSmith 플랫폼에서 에이전트 및 LLM 애플리케이션을 평가하기 위한 완전한 파이프라인을 구축하는 방법을 제공합니다. LLM-as-Judge(LLM을 심판으로 사용)와 사용자 정의 코드를 포함한 평가자 생성, 에이전트의 출력과 궤적(trajectory)을 캡처하는 실행 함수 정의, 그리고 `evaluate()` 함수를 사용한 로컬 평가 또는 LangSmith를 통한 자동 실행까지 세 가지 주요 영역을 다룹니다. 이 스킬은 `langsmith` CLI 도구를 활용하며, LangSmith SDK와의 통합을 통해 평가 결과를 자동으로 기록하고 비교할 수 있습니다. 개발자는 이 스킬을 통해 일관된 평가 기준을 설정하고, 에이전트 성능을 체계적으로 측정하며, 반복적인 개선 작업을 효율적으로 수행할 수 있습니다.
npx skills add https://github.com/langchain-ai/langsmith-skills/tree/main/skills/langsmith-evaluatorInstalled? Explore more 생산성 & 협업 skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →
LangSmith 평가 파이프라인 구축 시 이 스킬을 호출하세요. 세 가지 핵심 구성 요소를 다룹니다: (1) 평가자 생성 - LLM-as-Judge, 사용자 정의 코드; (2) 실행 함수 정의 - 에이전트의 출력과 궤적을 캡처하는 방법; (3) 평가 실행 - evaluate()를 사용한 로컬 실행 또는 LangSmith를 통한 자동 실행. langsmith CLI 도구를 사용합니다.
This repo contains 2 individual skills — each has its own dedicated page.
INVOKE THIS SKILL when creating evaluation datasets, uploading datasets to LangSmith, or managing existing datasets. Covers dataset types (final_response, single_step, trajectory, RAG), CLI management commands, SDK-based creation, and example management. Uses the langsmith CLI tool.
INVOKE THIS SKILL when working with LangSmith tracing OR querying traces. Covers adding tracing to applications and querying/exporting trace data. Uses the langsmith CLI tool.
Gemini CLI one-shot prompts, summaries, generation, skills, hooks, MCP, or Gemma routing.
Fetch GitHub issues, select candidates, spawn background fix agents, open PRs, and optionally process PR review comments.
Create, edit, audit, tidy, validate, or restructure AgentSkills and SKILL.md files.
Search, install, update, sync, or publish agent skills with the ClawHub CLI and registry.
Delegate coding work to Codex, Claude Code, or OpenCode as background workers; not simple edits or read-only code lookup.
List, configure, authenticate, call, and inspect MCP servers/tools with mcporter over HTTP or stdio.