Communitygithub.com

lambda-run/builder-language-evals

Conjunto de avaliações para a skill builder-language do Claude Code — aderência ao formato em 4 modelos × 3 condições, avaliado pelo Gemini 3.1 Pro.

O que é builder-language-evals?

Esta skill, lambda-run/builder-language-evals, fornece um conjunto abrangente de avaliações (evals) para a skill 'builder-language' do Claude Code. Seu principal objetivo é medir a aderência ao formato de resposta (form-adherence) em um total de 12 cenários diferentes, combinando 4 modelos de linguagem (provavelmente variantes do Claude) com 3 condições experimentais especificadas. As avaliações são julgadas pelo modelo Gemini 3.1 Pro, que atua como juiz imparcial para determinar se a resposta gerada pelo Claude Code segue estritamente o formato e as regras definidas pela skill builder-language. Esta ferramenta é essencial para desenvolvedores que desejam garantir que suas interações com o Claude Code, mediadas pela skill builder-language, sejam consistentes e previsíveis. Ela suporta o ecossistema Claude Code e automatiza a verificação de qualidade das respostas, permitindo testes rigorosos de conformidade e ajudando a identificar regressões ou comportamentos inesperados em diferentes configurações de modelo.

Funciona com✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add lambda-run/builder-language-evals

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que builder-language-evals faz?

Conjunto de avaliações para a skill builder-language do Claude Code — aderência ao formato em 4 modelos × 3 condições, avaliado pelo Gemini 3.1 Pro.

Habilidades Relacionadas