Communitygithub.com

ebarti/skills

📚 Competências de agente extraídas de livros técnicos — AI Engineering, Context Engineering, Designing Data-Intensive Applications e mais. Agenóstico, em Markdown simples. Dê ao seu agente de IA uma estante de livros.

O que é skills?

Este conjunto de habilidades fornece ao seu agente de IA conhecimentos práticos extraídos de livros técnicos renomados, como 'AI Engineering' (Chip Huyen) e outros. Ele é agnóstico em relação ao agente, sendo apresentado em arquivos Markdown simples e organizados por tópico (conhecimento, regras, exemplos). O repositório inclui módulos sobre avaliação de modelos de linguagem, incluindo métricas como perplexidade e entropia, métodos de avaliação exata (similaridade semântica, embeddings), uso de IA como juiz, comparação pareada (Bradley-Terry), critérios de avaliação (fatos, segurança, custo/latência), seleção de modelos (open source vs API) e design de pipelines de avaliação. Cada tópico possui arquivos de referência, workflows e um guia de seleção de arquivos (`guidelines.md`). É útil para engenheiros de IA que desejam capacitar seus agentes com conhecimento estruturado e prático sobre como avaliar e selecionar modelos de fundação e sistemas baseados neles.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add ebarti/skills
Ver original→Navegar por todas as habilidades

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

OpenAIChatGPTClaudeClaudeGeminiGeminiGrokGrokPerplexityPerplexityDeepSeekDeepSeek

Documentação

Avaliação de IA

Conhecimento extraído de "AI Engineering" de Chip Huyen (Capítulos 3-4). Métodos práticos para avaliar modelos de fundação e sistemas de IA construídos sobre eles.

Início Rápido

  1. Consulte guidelines.md para saber quais arquivos carregar para sua tarefa
  2. Carregue apenas os arquivos relevantes (cada tópico tem knowledge.md, rules.md, examples.md)
  3. Aplique as orientações ao seu trabalho

Conteúdo

Referências

CategoriaPropósito
language-modeling-metricsEntropia, entropia cruzada, perplexidade, bits-por-caractere
exact-evaluationCorretude funcional, correspondência exata, similaridade lexical/semântica, embeddings
ai-as-judgeQuando usar juízes de IA, como instruí-los, limitações e vieses
comparative-evaluationRanqueamento de modelos com comparações pareadas, Bradley-Terry, desafios de escalabilidade
evaluation-criteriaCapacidade do domínio, geração (factual, segurança), seguimento de instruções, custo/latência
model-selectionFluxo de seleção, código aberto vs API, navegação em benchmarks públicos
evaluation-pipelineDesign de pipeline de ponta a ponta, rubricas de pontuação, métodos de avaliação

Workflows

TarefaWorkflow
Escolher um modelo (construir vs comprar, OS vs API)workflows/select-model.md
Projetar um pipeline de avaliação de ponta a pontaworkflows/design-eval-pipeline.md

Diretrizes

Consulte guidelines.md para seleção de arquivos baseada em tarefas.

Habilidades Relacionadas

steipete/sag

ElevenLabs text-to-speech with mac-style say UX.

community

steipete/oracle

Oracle CLI second-model review/debug/refactor/design with selected files, dry-run token checks, API or browser engine.

community

steipete/peekaboo

Capture and automate macOS UI with the Peekaboo CLI.

community

mattpocock/design-an-interface

Generate multiple radically different interface designs for a module using parallel sub-agents. Use when user wants to design an API, explore interface options, compare module shapes, or mentions "design it twice".

community

mattpocock/prototype

Build a throwaway prototype to flesh out a design — a runnable terminal app for state/business-logic questions, or several radically different UI variations toggleable from one route.

community

mattpocock/grill-me

Interview the user relentlessly about a plan or design until reaching shared understanding, resolving each branch of the decision tree. Use when user wants to stress-test a plan, get grilled on their design, or mentions "grill me".

community