프롬프트 인젝션 공격 방어 및 복구 파이프라인 벤치마크: Open Prompt Injection으로 LLM 앱을 신뢰하기 전에
LLM 통합 앱을 프로덕션 환경에 배포하기 전에 구조화된 프롬프트 인젝션 공격 및 방어 실험을 실행하여 공격 성공률을 측정하고 탐지 또는 복구 파이프라인을 테스트합니다.
전제 조건
Conda로 관리되는 Python 환경, 업스트림 저장소 체크아웃, 업스트림에 설정된 모델 API 자격 증명, 대상 태스크 및 공격 설정 파일
설치
환경에 맞는 업스트림 설치 또는 설정 경로를 사용하세요:
- conda env create -f environment.yml --name my_custom_env
- conda env list
- conda activate my_custom_env
업스트림의 요구 사항 및 주의 사항:
-
필요한 Python 패키지
- python
기본 사용법 또는 시작 노트:
-
그런 다음 환경을 활성화하세요:
-
간단한 데모
-
시작하기 전에 './configs/model_configs/palm2_config.json'으로 이동하여 API 키를 실제 키로 교체하세요. PaLM2 API 키를 얻는 방법은 Google 공식 사이트를 참조하세요. Meta의 Llama 모델의 경우...
-
업스트림 문서에서 추출: https://raw.githubusercontent.com/liu00222/Open-Prompt-Injection/HEAD/README.md