O que ai-ml-security faz?
Manual de segurança para IA/ML. Use ao avaliar ataques à cadeia de suprimentos de modelos (RCE via pickle, pesos envenenados), exemplos adversariais, envenenamento de modelos, roubo de modelos, ataques à privacidade de dados (inferência de associação, inversão de modelos) e riscos de segurança em agentes autônomos.
Ataques na Cadeia de Suprimentos de Modelos
- RCE via Pickle: Serialização não segura de modelos Python (arquivos
.pkl,.pickle). Um atacante pode inserir código arbitrário que é executado ao carregar o modelo. - Pesos Envenenados: Modificação de pesos de modelos pré-treinados (ex: arquivos
.h5,.pt) para introduzir backdoors ou degradar o desempenho. - Fontes Não Verificadas: Uso de modelos do Hugging Face, TensorFlow Hub ou repositórios similares sem verificação de integridade.
Exemplos Adversariais
- Entradas sutis e modificadas para induzir erros de classificação em modelos de ML.
- Técnicas: FGSM, PGD, ataques baseados em otimização.
- Defesas: treinamento adversarial, suavização, detecção de anomalias.
Envenenamento de Modelos
- Contaminação dos dados de treinamento para controlar o comportamento do modelo.
- Cenários: backdoor via triggers (ex: adesivo em imagem), degradação de desempenho.
- Defesas: validação de dados, detecção de outliers, treinamento robusto.
Roubo de Modelos
- Extração de parâmetros, arquitetura ou funcionalidade de um modelo proprietário.
- Métodos: consultas repetidas à API, ataques de extração de modelos, engenharia reversa.
- Impacto: perda de propriedade intelectual, vantagem competitiva.
Privacidade de Dados
- Inferência de Associação (Membership Inference): Determinar se um registro específico foi usado no treinamento de um modelo.
- Inversão de Modelos (Model Inversion): Reconstruir dados de treinamento a partir das saídas do modelo (ex: rostos de pessoas).
- Defesas: privacidade diferencial (DP), redução de dimensionalidade, limitação de informações de saída.
Segurança de Agentes Autônomos
- Agentes de IA que executam ações em nome de um usuário (ex: Claude Code, Cursor, Codex).
- Riscos: injeção de prompts, sequestro de ferramentas, exfiltração de dados confidenciais.
- Medidas: validação de entrada, princípio do menor privilégio, sandboxing.