langsmith-评估器 是做什么的？
当需要为 LangSmith 构建评估管道时，请调用本技能。它涵盖三个核心组件：(1) 创建评估器 - 使用 LLM 作为评判标准或编写自定义代码；(2) 定义运行函数 - 如何捕获代理的输出与执行轨迹；(3) 运行评估 - 在本地使用 evaluate() 或通过 LangSmith 自动运行。本技能使用 langsmith CLI 工具。
构建 LangSmith 评估管道的专家技能，涵盖创建评估器、定义运行函数以及运行评估三大核心组件。
该技能专为需要利用 LangSmith 平台构建评估管道的开发者与 AI 代理设计。它详细介绍了三个关键组成部分：创建评估器（包括使用 LLM 作为评判标准或编写自定义代码）、定义运行函数（以捕获代理的输出与执行轨迹）以及运行评估（通过 `evaluate()` 在本地执行或通过 LangSmith 自动运行）。该技能基于 `langsmith` CLI 工具实现，支持从简单测试到复杂生产环境评估的多种场景。它能帮助用户系统化地测试和验证代理的行为与性能，确保评估流程的可重复性和可靠性，是构建高质量 LangSmith 应用的必备参考。
npx skills add https://github.com/langchain-ai/langsmith-skills/tree/main/skills/langsmith-evaluatorInstalled? Explore more 生产力与协作 skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →
当需要为 LangSmith 构建评估管道时，请调用本技能。它涵盖三个核心组件：(1) 创建评估器 - 使用 LLM 作为评判标准或编写自定义代码；(2) 定义运行函数 - 如何捕获代理的输出与执行轨迹；(3) 运行评估 - 在本地使用 evaluate() 或通过 LangSmith 自动运行。本技能使用 langsmith CLI 工具。
This repo contains 2 individual skills — each has its own dedicated page.
INVOKE THIS SKILL when creating evaluation datasets, uploading datasets to LangSmith, or managing existing datasets. Covers dataset types (final_response, single_step, trajectory, RAG), CLI management commands, SDK-based creation, and example management. Uses the langsmith CLI tool.
INVOKE THIS SKILL when working with LangSmith tracing OR querying traces. Covers adding tracing to applications and querying/exporting trace data. Uses the langsmith CLI tool.
Gemini CLI one-shot prompts, summaries, generation, skills, hooks, MCP, or Gemma routing.
Fetch GitHub issues, select candidates, spawn background fix agents, open PRs, and optionally process PR review comments.
Create, edit, audit, tidy, validate, or restructure AgentSkills and SKILL.md files.
Search, install, update, sync, or publish agent skills with the ClawHub CLI and registry.
Delegate coding work to Codex, Claude Code, or OpenCode as background workers; not simple edits or read-only code lookup.
List, configure, authenticate, call, and inspect MCP servers/tools with mcporter over HTTP or stdio.