O que llm-production-toolkit faz?
Avalie, monitore e proteja implantações de LLMs com ferramentas Python projetadas para reduzir alucinações e melhorar a confiabilidade em produção.
Visão Geral
Este toolkit oferece um conjunto de módulos Python para auxiliar no ciclo de vida de produção de LLMs, desde a avaliação inicial até o monitoramento contínuo. Ele inclui:
- Avaliação de respostas para detectar alucinações
- Monitoramento de desempenho e latência
- Proteção contra ataques de injeção de prompt
- Geração de relatórios de qualidade
Como Usar
- Clone o repositório e instale as dependências:
git clone https://github.com/pofaced-unattractiveness6700/llm-production-toolkit.git
cd llm-production-toolkit
pip install -r requirements.txt
- Configure suas variáveis de ambiente:
export OPENAI_API_KEY="sua_chave_aqui"
export LLM_ENDPOINT="https://seu-modelo-endpoint.com"
- Execute a avaliação de alucinações:
from toolkit.evaluator import HallucinationEvaluator
evaluator = HallucinationEvaluator()
results = evaluator.evaluate("Qual é a capital do Brasil?", "Brasília")
print(results)
Plataformas Suportadas
- Claude Code
- Cursor
- Codex
- OpenAI API
- Hugging Face
Documentação Completa
Para mais detalhes, consulte o arquivo DOCS.md ou visite o repositório oficial.