Evaluar defensas y pipelines de recuperación contra ataques de…

Evaluar defensas y pipelines de recuperación contra ataques de inyección de prompts antes de confiar en una aplicación LLM con Open Prompt Injection

Ejecuta experimentos estructurados de ataque y defensa de inyección de prompts contra una aplicación integrada con LLM antes de producción, midiendo el éxito del ataque y probando pipelines de detección o recuperación.

Requisitos previos

Entorno Python administrado por Conda, checkout del repositorio upstream, credenciales de API del modelo según la configuración upstream, archivos de configuración de tarea objetivo y ataque

Instalación

Usa la ruta de instalación o configuración upstream que coincida con tu entorno:

• conda env create -f environment.yml --name my_custom_env
• conda activate my_custom_env

Requisitos y advertencias del upstream:

• Paquetes Python requeridos

• python

Notas de uso básico o inicio rápido:

• Luego activa el entorno:

• Una demostración simple

• Antes de empezar, ve a './configs/model_configs/palm2_config.json' y reemplaza las claves API con tus claves reales. Consulta el sitio oficial de Google para obtener una clave API para PaLM2. Para el modelo Llama de Meta...

• Fuente: https://github.com/liu00222/Open-Prompt-Injection

• Extraído de la documentación upstream: https://raw.githubusercontent.com/liu00222/Open-Prompt-Injection/HEAD/README.md

Documentación

• https://github.com/liu00222/Open-Prompt-Injection

Fuente

• Agent Skill Exchange