O que phoenix faz?
Scripts de avaliação heurística projetados para calcular a eficácia estrutural de prompts em implantações de agentes em produção.
Visão Geral
O Arize Phoenix oferece um conjunto de scripts de avaliação que analisam a estrutura de prompts de agentes de IA em produção. Utilizando heurísticas pré-definidas, esses scripts computam métricas como completude, consistência, alinhamento com o contexto e potencial de erro. O resultado é um score numérico (0 a 1) que indica a eficácia preditiva do prompt, permitindo que equipes de engenharia identifiquem rapidamente prompts frágeis ou mal formulados.
Como Funciona
- O usuário fornece o prompt e o contexto de entrada (incluindo histórico de conversa, se aplicável).
- Os scripts executam uma série de avaliações heurísticas:
- Completude: Verifica se o prompt contém todos os elementos necessários (instrução, exemplos, formato de saída).
- Clareza: Avalia se a linguagem é ambígua ou pode gerar interpretações múltiplas.
- Contexto: Mede o quanto o prompt aproveita o contexto fornecido.
- Erro Potencial: Identifica padrões que podem levar a alucinações ou respostas fora do escopo.
- Um score agregado é gerado, juntamente com um relatório detalhado.
Uso
pip install arize-phoenix
Exemplo de código:
from phoenix.heuristics import evaluate_prompt
prompt = "Explique a teoria da relatividade para uma criança de 10 anos."
context = {"user_age": 10, "topic": "física"}
result = evaluate_prompt(prompt, context)
print(result.score) # ex.: 0.85
print(result.report) # ex.: {"completude": 0.9, "clareza": 0.8, "contexto": 0.7}
Compatibilidade
- Frameworks: LangChain, LlamaIndex, Haystack
- Provedores LLM: OpenAI, Anthropic, Google Vertex AI, AWS Bedrock
- Plataformas: Claude Code, Cursor, Codex
Parâmetros de Avaliação
| Parâmetro | Descrição | Peso |
|---|---|---|
completude | Verifica se o prompt cobre todos os aspectos | 0.3 |
clareza | Mede a ambiguidade do texto | 0.3 |
contexto | Aderência ao contexto fornecido | 0.2 |
erro_potencial | Identifica padrões de risco | 0.2 |
Contribuição
Contribuições são bem-vindas! Abra um PR ou issue no repositório oficial.
Licença
Apache 2.0