INVOKE ESTA SKILL ao criar conjuntos de dados de avaliação, fazer upload de conjuntos de dados para o LangSmith ou gerenciar conjuntos de dados existentes. Abrange tipos de conjuntos de dados (final_response, single_step, trajectory, RAG), comandos de gerenciamento via CLI, criação baseada em SDK e gerenciamento de exemplos. Utiliza a ferramenta de CLI langsmith.
Esta skill permite que você crie, faça upload e gerencie conjuntos de dados de avaliação para o LangSmith, uma plataforma de depuração, teste e monitoramento de sistemas LLM. Ela cobre todos os tipos suportados de conjuntos de dados: `final_response`, `single_step`, `trajectory` e `RAG`, além de fornecer comandos via CLI e SDK para criação e gerenciamento de exemplos. A skill é particularmente útil para desenvolvedores que desejam automatizar a preparação de dados de avaliação para suas aplicações de IA, garantindo consistência e rastreabilidade. Funciona tanto em ambientes locais quanto em integrações contínuas (CI/CD), utilizando a ferramenta de linha de comando `langsmith`. Com ela, é possível importar dados de fontes externas, versionar conjuntos de dados e organizar exemplos para testes de desempenho de modelos de linguagem.
npx skills add https://github.com/langchain-ai/langsmith-skills/tree/main/skills/langsmith-datasetInstalled? Explore more Programação e Desenvolvimento skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
INVOKE ESTA SKILL ao criar conjuntos de dados de avaliação, fazer upload de conjuntos de dados para o LangSmith ou gerenciar conjuntos de dados existentes. Abrange tipos de conjuntos de dados (final_response, single_step, trajectory, RAG), comandos de gerenciamento via CLI, criação baseada em SDK e gerenciamento de exemplos. Utiliza a ferramenta de CLI langsmith.
This repo contains 2 individual skills — each has its own dedicated page.
INVOKE THIS SKILL when building evaluation pipelines for LangSmith. Covers three core components: (1) Creating Evaluators - LLM-as-Judge, custom code; (2) Defining Run Functions - how to capture outputs and trajectories from your agent; (3) Running Evaluations - locally with evaluate() or auto-run via LangSmith. Uses the langsmith CLI tool.
INVOKE THIS SKILL when working with LangSmith tracing OR querying traces. Covers adding tracing to applications and querying/exporting trace data. Uses the langsmith CLI tool.
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.