Que fait ai-ml-security ?
Guide de sécurité IA/ML. Utilisez-le pour évaluer les attaques sur la chaîne d'approvisionnement des modèles (RCE via pickle, poids empoisonnés), les exemples antagonistes, l'empoisonnement de modèles, le vol de modèles, les attaques contre la vie privée des données (inférence d'appartenance, inversion de modèle) et les risques de sécurité liés aux agents autonomes.
Attaques sur la chaîne d'approvisionnement
RCE via pickle
- Description: L'exécution de code à distance peut être déclenchée lors du chargement de modèles sérialisés avec pickle. Un attaquant peut injecter du code malveillant dans un fichier pickle.
- Contre-mesures: Utilisez des formats sécurisés comme
safetensorsouONNX. Désérialisez uniquement des modèles provenant de sources fiables.
Poids empoisonnés
- Description: Des poids de modèle modifiés peuvent introduire des backdoors ou dégrader les performances.
- Contre-mesures: Vérifiez l'intégrité des poids avec des sommes de contrôle (hash). Utilisez des registres de modèles.
Exemples antagonistes
Description
Des entrées légèrement modifiées (bruit imperceptible) qui provoquent une classification erronée.
Contre-mesures
- Entraînement adversarial : Incluez des exemples antagonistes dans les données d'entraînement.
- Prétraitement robuste : Filtrage, compression, etc.
Empoisonnement de modèles
Description
Corruption des données d'entraînement pour altérer le comportement du modèle final.
Contre-mesures
- Nettoyage des données : Détection d'anomalies et filtrage.
- Contrôle d'accès : Authentification forte pour les pipelines de données.
Vol de modèles
Description
Extraction d'un modèle propriétaire via des requêtes API, l'analyse des gradients ou l'ingénierie inverse.
Contre-mesures
- Limitation de requêtes : Quotas et analyse de débit.
- Bruit dans les réponses : Ajout de bruit aux logits ou aux prédictions.
Attaques contre la vie privée des données
Inférence d'appartenance
- Description: Déterminer si un enregistrement spécifique faisait partie des données d'entraînement.
- Contre-mesures: Utilisation de la confidentialité différentielle (
dp-SGD).
Inversion de modèle
- Description: Reconstruire des exemples d'entraînement à partir des gradients ou des sorties du modèle.
- Contre-mesures: Gradients bruités, quantisation, limitation de l'accès aux gradients.
Sécurité des agents autonomes
Risques
- Injection de prompts : Un attaquant peut manipuler les instructions de l'agent.
- Exfiltration de données : L'agent peut transmettre des informations sensibles à des tiers.
- Abus des outils : L'agent peut utiliser des outils de manière non intentionnelle ou malveillante.
Contre-mesures
- Sandboxing : Exécution isolée de l'agent.
- Validation des entrées/sorties : Filtrage des commandes et des données.
- Principe du moindre privilège : Limiter les permissions de l'agent.