Invocar esta habilidad al construir pipelines de evaluación para LangSmith. Cubre tres componentes principales: (1) Creación de Evaluadores - LLM-as-Judge, código personalizado; (2) Definición de Funciones de Ejecución - cómo capturar salidas y trayectorias de tu agente; (3) Ejecución de Evaluaciones - localmente con evaluate() o auto-ejecución a través de LangSmith. Utiliza la herramienta de línea de comandos langsmith.
Esta habilidad profesional para IA está diseñada para construir y gestionar pipelines de evaluación dentro del ecosistema LangSmith, una plataforma para depurar, probar y monitorizar aplicaciones de LLM. Proporciona orientación estructurada sobre tres pilares fundamentales: la creación de evaluadores (tanto automáticos con LLM-as-Judge como mediante código personalizado), la definición de funciones de ejecución (run functions) para capturar las salidas y trayectorias completas de tu agente, y la ejecución de evaluaciones ya sea localmente con la función evaluate() o mediante ejecución automática en la nube vía LangSmith. Es especialmente útil para desarrolladores de IA que necesitan integrar aseguramiento de calidad en sus flujos de trabajo de agentes LLM. Se soporta en plataformas como Claude Code, Cursor, Codex y similares, y aprovecha la herramienta CLI de langsmith para operaciones de línea de comandos. Al invocar esta habilidad, el agente recibe instrucciones claras sobre cómo construir un pipeline de evaluación robusto, capturar datos relevantes y ejecutar pruebas de manera reproducible, tanto en entornos locales como remotos.
npx skills add https://github.com/langchain-ai/langsmith-skills/tree/main/skills/langsmith-evaluatorInstalled? Explore more Productividad y colaboración skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →
INVOCA ESTA HABILIDAD al construir pipelines de evaluación para LangSmith. Cubre tres componentes principales: (1) Creación de Evaluadores - LLM-as-Judge, código personalizado; (2) Definición de Funciones de Ejecución - cómo capturar salidas y trayectorias de tu agente; (3) Ejecución de Evaluaciones - localmente con evaluate() o auto-ejecución a través de LangSmith. Utiliza la herramienta CLI langsmith.
This repo contains 2 individual skills — each has its own dedicated page.
INVOKE THIS SKILL when creating evaluation datasets, uploading datasets to LangSmith, or managing existing datasets. Covers dataset types (final_response, single_step, trajectory, RAG), CLI management commands, SDK-based creation, and example management. Uses the langsmith CLI tool.
INVOKE THIS SKILL when working with LangSmith tracing OR querying traces. Covers adding tracing to applications and querying/exporting trace data. Uses the langsmith CLI tool.
Gemini CLI one-shot prompts, summaries, generation, skills, hooks, MCP, or Gemma routing.
Fetch GitHub issues, select candidates, spawn background fix agents, open PRs, and optionally process PR review comments.
Create, edit, audit, tidy, validate, or restructure AgentSkills and SKILL.md files.
Search, install, update, sync, or publish agent skills with the ClawHub CLI and registry.
Delegate coding work to Codex, Claude Code, or OpenCode as background workers; not simple edits or read-only code lookup.
List, configure, authenticate, call, and inspect MCP servers/tools with mcporter over HTTP or stdio.