Shire31/agent-eval-ops-coach

O que agent-eval-ops-coach faz?

Habilidade portátil para Codex que integra operações de avaliação, execução de experimentos, atribuição e iteração de agentes baseada em evidências com Langfuse.

Visão Geral

O agent-eval-ops-coach fornece um conjunto de comandos e ferramentas para incorporar práticas de DevOps de avaliação (eval ops) no desenvolvimento de agentes de IA. Ele se conecta à plataforma Langfuse para rastrear, analisar e melhorar o desempenho dos agentes de forma sistemática.

Funcionalidades

• Execução de Experimentos: Execute experimentos controlados para comparar diferentes configurações de agentes ou prompts.
• Atribuição: Associe resultados de avaliação a versões específicas de código, prompts ou modelos.
• Iteração Baseada em Evidências: Utilize dados coletados para guiar melhorias incrementais no agente.
• Relatórios Automatizados: Gere relatórios de desempenho e resumos de experimentos diretamente no Langfuse.

Como Usar

1. Configuração: Certifique-se de ter as variáveis de ambiente LANGFUSE_PUBLIC_KEY e LANGFUSE_SECRET_KEY configuradas para autenticação.
2. Iniciar um Experimento: Use o comando codex eval start para iniciar uma nova sessão de avaliação.
3. Executar Avaliações: Integre os hooks de avaliação no código do seu agente para registrar interações e resultados.
4. Analisar Resultados: Visualize os dados no dashboard do Langfuse ou use o comando codex eval report para gerar um resumo.
5. Iterar: Com base nos relatórios, ajuste prompts, lógica do agente ou parâmetros e repita o ciclo.

Exemplo de Comando

codex eval run --experiment-id "exp-001" --description "Teste de precisão com prompt otimizado"

Mais Informações

• Documentação do Langfuse
• Repositório da Habilidade