Rufe dieses Skill auf, wenn du Bewertungspipelines für LangSmith erstellst. Es behandelt drei Kernkomponenten: (1) Erstellung von Evaluatoren – LLM als Richter, benutzerdefinierter Code; (2) Definition von Run-Funktionen – wie du Ausgaben und Trajektorien deines Agents erfassen kannst; (3) Durchführung von Evaluierungen – lokal mit evaluate() oder automatisch über LangSmith. Verwendet das langsmith CLI-Tool.
Das Skill `langchain-ai/langsmith-evaluator` ist speziell für Entwickler konzipiert, die Bewertungspipelines für LangSmith erstellen. Es bietet eine strukturierte Anleitung in drei Kernbereichen: Der erste Bereich befasst sich mit der Erstellung von Evaluatoren – sowohl mit einem LLM als Richter als auch mit benutzerdefiniertem Code. Der zweite Bereich erklärt, wie Run-Funktionen definiert werden, um die Ausgaben und Entscheidungswege deines Agents festzuhalten. Der dritte Bereich führt durch die Durchführung von Evaluierungen – entweder lokal mit der evaluate()-Funktion oder automatisch über die LangSmith-Cloud. Das Skill nutzt das langsmith CLI-Tool, um Evaluierungen zu orchestrieren und die Ergebnisse in LangSmith hochzuladen. Es eignet sich für Claude Code, Codex CLI, Cursor und andere AI-Agenten-Plattformen und hilft dabei, die Qualität von KI-Agenten systematisch zu überprüfen und zu verbessern. Der Workflow umfasst das Vorbereiten von Testdaten, das Definieren von Bewertungsmetriken und das Auswerten von Agentenverhalten – alles aus einer Hand.
npx skills add https://github.com/langchain-ai/langsmith-skills/tree/main/skills/langsmith-evaluatorInstalled? Explore more Produktivität & Zusammenarbeit skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →
Rufe dieses Skill auf, wenn du Bewertungspipelines für LangSmith erstellst. Es behandelt drei Kernkomponenten: (1) Erstellung von Evaluatoren – LLM als Richter, benutzerdefinierter Code; (2) Definition von Run-Funktionen – wie du Ausgaben und Trajektorien deines Agents erfassen kannst; (3) Durchführung von Evaluierungen – lokal mit evaluate() oder automatisch über LangSmith. Verwendet das langsmith CLI-Tool.
This repo contains 2 individual skills — each has its own dedicated page.
INVOKE THIS SKILL when creating evaluation datasets, uploading datasets to LangSmith, or managing existing datasets. Covers dataset types (final_response, single_step, trajectory, RAG), CLI management commands, SDK-based creation, and example management. Uses the langsmith CLI tool.
INVOKE THIS SKILL when working with LangSmith tracing OR querying traces. Covers adding tracing to applications and querying/exporting trace data. Uses the langsmith CLI tool.
Gemini CLI one-shot prompts, summaries, generation, skills, hooks, MCP, or Gemma routing.
Fetch GitHub issues, select candidates, spawn background fix agents, open PRs, and optionally process PR review comments.
Create, edit, audit, tidy, validate, or restructure AgentSkills and SKILL.md files.
Search, install, update, sync, or publish agent skills with the ClawHub CLI and registry.
Delegate coding work to Codex, Claude Code, or OpenCode as background workers; not simple edits or read-only code lookup.
List, configure, authenticate, call, and inspect MCP servers/tools with mcporter over HTTP or stdio.