Compétence à invoquer lors de la construction de pipelines d'évaluation pour LangSmith. Couvre trois composants clés : (1) Création d'évaluateurs - LLM-as-Judge, code personnalisé ; (2) Définition de fonctions d'exécution - comment capturer les sorties et les trajectoires de votre agent ; (3) Exécution des évaluations - localement avec evaluate() ou exécution automatique via LangSmith. Utilise l'outil en ligne de commande langsmith.
Cette compétence, conçue pour LangSmith, permet aux développeurs de construire des pipelines d'évaluation robustes pour leurs agents IA. Elle couvre trois aspects essentiels : la création d'évaluateurs (en utilisant LLM-as-Judge ou du code personnalisé), la définition de fonctions d'exécution pour capturer les sorties et les trajectoires des agents, et l'exécution des évaluations soit localement avec la fonction `evaluate()`, soit automatiquement via la plateforme LangSmith. L'outil CLI `langsmith` est utilisé pour faciliter ces opérations. Cette compétence est particulièrement utile pour automatiser les tests de régression, valider la qualité des réponses des agents, et itérer rapidement sur les prompts et les modèles. Elle s'intègre parfaitement avec les workflows de développement d'agents LangChain et LangGraph, offrant une approche structurée pour mesurer la performance des systèmes d'IA conversationnelle.
npx skills add https://github.com/langchain-ai/langsmith-skills/tree/main/skills/langsmith-evaluatorInstalled? Explore more Productivité et collaboration skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →
INVOQUEZ CETTE COMPÉTENCE lors de la construction de pipelines d'évaluation pour LangSmith. Couvre trois composants clés : (1) Création d'évaluateurs - LLM-as-Judge, code personnalisé ; (2) Définition de fonctions d'exécution - comment capturer les sorties et les trajectoires de votre agent ; (3) Exécution des évaluations - localement avec evaluate() ou exécution automatique via LangSmith. Utilise l'outil en ligne de commande langsmith.
This repo contains 2 individual skills — each has its own dedicated page.
INVOKE THIS SKILL when creating evaluation datasets, uploading datasets to LangSmith, or managing existing datasets. Covers dataset types (final_response, single_step, trajectory, RAG), CLI management commands, SDK-based creation, and example management. Uses the langsmith CLI tool.
INVOKE THIS SKILL when working with LangSmith tracing OR querying traces. Covers adding tracing to applications and querying/exporting trace data. Uses the langsmith CLI tool.
Gemini CLI one-shot prompts, summaries, generation, skills, hooks, MCP, or Gemma routing.
Fetch GitHub issues, select candidates, spawn background fix agents, open PRs, and optionally process PR review comments.
Create, edit, audit, tidy, validate, or restructure AgentSkills and SKILL.md files.
Search, install, update, sync, or publish agent skills with the ClawHub CLI and registry.
Delegate coding work to Codex, Claude Code, or OpenCode as background workers; not simple edits or read-only code lookup.
List, configure, authenticate, call, and inspect MCP servers/tools with mcporter over HTTP or stdio.