langsmith-evaluator は何をしますか？
このスキルは、LangSmith向け評価パイプラインを構築する際に呼び出します。以下の3つのコアコンポーネントをカバーしています。(1) 評価器の作成 - LLM-as-Judge、カスタムコード; (2) 実行関数の定義 - エージェントの出力と軌跡のキャプチャ方法; (3) 評価の実行 - ローカルでのevaluate()実行、またはLangSmithによる自動実行。langsmith CLIツールを使用します。
LangSmith向け評価パイプライン構築スキル。評価器の作成、実行関数の定義、評価の実行の3つのコアコンポーネントをカバーします。
このスキルは、LangSmithプラットフォーム向けの評価パイプラインを構築するためのものです。3つの主要コンポーネントをカバーしています。(1) 評価器の作成: LLM-as-Judgeやカスタムコードによる評価ロジックを記述できます。(2) 実行関数の定義: エージェントの出力や軌跡（トレース）をキャプチャする方法を提供します。(3) 評価の実行: ローカル環境でevaluate()関数を使用した実行や、LangSmith上での自動実行をサポートします。このスキルはlangsmith CLIツールを利用しており、開発者はCI/CDパイプラインへの統合や、エージェントのパフォーマンスを継続的に監視・改善するための仕組みを簡単に構築できます。
npx skills add https://github.com/langchain-ai/langsmith-skills/tree/main/skills/langsmith-evaluatorInstalled? Explore more 生産性＆コラボレーション skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →
このスキルは、LangSmith向け評価パイプラインを構築する際に呼び出します。以下の3つのコアコンポーネントをカバーしています。(1) 評価器の作成 - LLM-as-Judge、カスタムコード; (2) 実行関数の定義 - エージェントの出力と軌跡のキャプチャ方法; (3) 評価の実行 - ローカルでのevaluate()実行、またはLangSmithによる自動実行。langsmith CLIツールを使用します。
This repo contains 2 individual skills — each has its own dedicated page.
INVOKE THIS SKILL when creating evaluation datasets, uploading datasets to LangSmith, or managing existing datasets. Covers dataset types (final_response, single_step, trajectory, RAG), CLI management commands, SDK-based creation, and example management. Uses the langsmith CLI tool.
INVOKE THIS SKILL when working with LangSmith tracing OR querying traces. Covers adding tracing to applications and querying/exporting trace data. Uses the langsmith CLI tool.
Gemini CLI one-shot prompts, summaries, generation, skills, hooks, MCP, or Gemma routing.
Fetch GitHub issues, select candidates, spawn background fix agents, open PRs, and optionally process PR review comments.
Create, edit, audit, tidy, validate, or restructure AgentSkills and SKILL.md files.
Search, install, update, sync, or publish agent skills with the ClawHub CLI and registry.
Delegate coding work to Codex, Claude Code, or OpenCode as background workers; not simple edits or read-only code lookup.
List, configure, authenticate, call, and inspect MCP servers/tools with mcporter over HTTP or stdio.