INVOQUE ESTA HABILIDADE ao construir pipelines de avaliação para LangSmith. Abrange três componentes principais: (1) Criação de Avaliadores - LLM como Juiz, código personalizado; (2) Definição de Funções de Execução - como capturar saídas e trajetórias do seu agente; (3) Execução de Avaliações - localmente com evaluate() ou execução automática via LangSmith. Utiliza a ferramenta de linha de comando langsmith.
Esta habilidade especializada fornece um guia completo para configurar pipelines de avaliação para rastreamento e monitoramento de agentes de IA usando o LangSmith. Ela cobre três áreas principais: criação de avaliadores (incluindo avaliação baseada em LLM e lógica personalizada), definição de funções de execução para capturar o comportamento do agente e execução de avaliações tanto localmente com a função evaluate() quanto através de disparo automático via plataforma LangSmith. Baseada na ferramenta CLI langsmith, é adequada para desenvolvedores que trabalham com Claude Code, Cursor, Codex ou outros ambientes de agente de IA. A documentação da habilidade descreve práticas recomendadas para testar iterativamente saídas de agentes, garantindo qualidade e reprodutibilidade em fluxos de trabalho de IA.
npx skills add https://github.com/langchain-ai/langsmith-skills/tree/main/skills/langsmith-evaluatorInstalled? Explore more Produtividade e Colaboração skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →
INVOQUE ESTA HABILIDADE ao construir pipelines de avaliação para LangSmith. Abrange três componentes principais: (1) Criação de Avaliadores - LLM como Juiz, código personalizado; (2) Definição de Funções de Execução - como capturar saídas e trajetórias do seu agente; (3) Execução de Avaliações - localmente com evaluate() ou execução automática via LangSmith. Utiliza a ferramenta de linha de comando langsmith.
This repo contains 2 individual skills — each has its own dedicated page.
INVOKE THIS SKILL when creating evaluation datasets, uploading datasets to LangSmith, or managing existing datasets. Covers dataset types (final_response, single_step, trajectory, RAG), CLI management commands, SDK-based creation, and example management. Uses the langsmith CLI tool.
INVOKE THIS SKILL when working with LangSmith tracing OR querying traces. Covers adding tracing to applications and querying/exporting trace data. Uses the langsmith CLI tool.
Gemini CLI one-shot prompts, summaries, generation, skills, hooks, MCP, or Gemma routing.
Fetch GitHub issues, select candidates, spawn background fix agents, open PRs, and optionally process PR review comments.
Create, edit, audit, tidy, validate, or restructure AgentSkills and SKILL.md files.
Search, install, update, sync, or publish agent skills with the ClawHub CLI and registry.
Delegate coding work to Codex, Claude Code, or OpenCode as background workers; not simple edits or read-only code lookup.
List, configure, authenticate, call, and inspect MCP servers/tools with mcporter over HTTP or stdio.