Avaliar ataques de injeção de prompt, defesas e pipelines de recuperação antes de confiar em uma aplicação LLM com Open Prompt Injection
Execute experimentos estruturados de ataque e defesa de injeção de prompt em uma aplicação integrada a LLM antes da produção, medindo o sucesso dos ataques e testando pipelines de detecção ou recuperação.
Pré-requisitos
Ambiente Python gerenciado por Conda, checkout do repositório upstream, credenciais de API do modelo conforme configurado upstream, arquivos de configuração de tarefa alvo e de ataque
Instalação
Use o caminho de instalação ou configuração upstream que corresponda ao seu ambiente:
- conda env create -f environment.yml --name my_custom_env
- conda activate my_custom_env
Requisitos e observações do upstream:
-
Pacotes Python necessários
- python
Notas de uso básico ou início rápido:
-
Em seguida, ative o ambiente:
-
Uma demonstração simples
-
Antes de começar, vá para './configs/model_configs/palm2_config.json' e substitua as chaves de API pelas suas chaves reais. Consulte o site oficial do Google para saber como obter uma chave de API para PaLM2. Para o modelo Llama da Meta...
-
Extraído da documentação upstream: https://raw.githubusercontent.com/liu00222/Open-Prompt-Injection/HEAD/README.md