O que assay faz?
Estrutura de avaliação confiável e resistente a manipulações para componentes do Claude Code — skills, agentes, comandos de barra — com números reais e verificações lógicas reais.
Como funciona
O Assay executa uma série de testes contra componentes do Claude Code. Cada teste consiste em um prompt (entrada) e uma verificação lógica (assertiva) baseada na saída esperada. A ferramenta não depende de correspondência exata de texto ou heurísticas frágeis; em vez disso, usa verificações de lógica programática (por exemplo, verificar se um valor calculado está dentro de um intervalo esperado, se uma condição booleana é verdadeira, ou se uma chamada de API foi feita corretamente).
Características principais
- Resistente a manipulações: Testes não podem ser enganados por respostas genéricas ou truques de linguagem.
- Números reais: Métricas quantitativas e resultados numéricos são usados para avaliação objetiva.
- Verificações lógicas: Assertivas baseadas em lógica programática, não em similaridade textual.
- Automação: Execução contínua de testes com relatórios detalhados.
Plataformas suportadas
- Claude Code (skills, agentes, slash-commands)
- Qualquer componente que exponha uma interface de linha de comando ou API compatível com o formato de teste.
Como usar
- Configure seu ambiente Claude Code conforme as instruções oficiais.
- Instale o Assay via gerenciador de pacotes ou clone o repositório.
- Defina seus testes em arquivos de configuração (ex.:
tests.yaml). - Execute o Assay:
assay run --config tests.yaml - Analise o relatório gerado (ex.:
report.jsonoureport.html).
Exemplo de teste
- name: "Verificar cálculo de imposto"
prompt: "Calcule o imposto de 15% sobre um valor de 1000 reais."
assert:
type: numeric_range
min: 140
max: 160
Contribuição
Contribuições são bem-vindas! Consulte o arquivo CONTRIBUTING.md para diretrizes.
Licença
Este projeto está licenciado sob a licença MIT – veja o arquivo LICENSE para detalhes.