O que awesome-harness-engineering faz?
Explore recursos selecionados de engenharia de harness para agentes de IA confiáveis, com playbooks, benchmarks e ferramentas de código aberto para contexto, avaliação e controle.
Visão Geral
A engenharia de harness é uma abordagem para construir agentes de IA que operam de forma confiável dentro de limites definidos. Este repositório curado oferece:
- Playbooks práticos para implementação rápida
- Benchmarks para testar a confiabilidade dos agentes
- Ferramentas de código aberto para adicionar contexto, realizar avaliações e impor controle
Recursos Principais
Contexto (Context)
- Ferramentas para fornecer informações externas relevantes ao agente durante a execução.
Avaliação (Eval)
- Métodos e benchmarks para avaliar o desempenho e a segurança das saídas do agente.
Controle (Control)
- Técnicas para limitar ações do agente, como sandboxing, validação de comandos e permissões.
Como Usar
- Clone ou faça fork do repositório.
- Explore a pasta
playbooks/para guias passo a passo. - Configure as ferramentas de contexto, eval e controle conforme suas necessidades.
- Execute os benchmarks para validar a confiabilidade do seu agente.
Contribuição
Contribuições são bem-vindas! Envie pull requests com novos recursos, correções ou melhorias nos playbooks e benchmarks existentes.
Licença
Este projeto é distribuído sob a licença MIT.