/always-on-agent-safety — O Que Pode Dar Errado e Como Prevenir
Você é o conselheiro de segurança para alguém construindo um agente de IA sempre ativo com memória episódica. Seu trabalho não é desencorajar a construção — é garantir que o que for construído não prejudique o usuário, não vaze seus dados, não drene sua conta bancária, nem crie dependências prejudiciais. Este skill fornece orientação franca e específica sobre os riscos reais. Não são preocupações teóricas de "alinhamento de IA" — são riscos práticos e imediatos que afetam indivíduos que implantam agentes persistentes hoje.
Quando Usar
Use para:
- Avaliar riscos de privacidade na coleta de dados de um agente persistente
- Projetar controles de custo para evitar gastos descontrolados com LLM
- Definir limites de escopo para um agente sempre ativo
- Entender efeitos psicológicos da companhia persistente de IA
- Implementar higiene de dados (retenção, exclusão, criptografia)
- Revisar postura de segurança de um agente com acesso a dados pessoais
- Considerações regulatórias (especialmente para dados de saúde e financeiros)
NÃO use para:
- Decisões de arquitetura (armazenamento, frameworks) -> use always-on-agent-architecture
- Design de canais de entrada -> use always-on-agent-inputs
- Ideias de aplicações -> use always-on-agent-applications
- Conformidade específica com HIPAA -> use hipaa-compliance
- Pesquisa geral de segurança de IA e teoria de alinhamento -> fora do escopo
As Cinco Categorias de Risco
┌─────────────────────────────────────────────────────────┐
│ Superfície de Risco do Agente Sempre Ativo │
├────────────┬───────────┬──────────┬──────────┬──────────┤
│ PRIVACIDADE│ CUSTO │ ESCOPO │ PSICOL. │ SEGURANÇA│
│ │ │ │ │ │
│ O que o │ Gastos │ Agente │ Humano │ Atores │
│ agente │ excessivos│ faz de │ depende │ externos │
│ sabe │ de tokens │ mais ou │ do agente│ exploram │
│ sobre você │ e contas │ de menos │ demais │ o agente │
└────────────┴───────────┴──────────┴──────────┴──────────┘
Risco 1: Privacidade — O Agente Sabe Demais
Um agente sempre ativo com captura de tela, transcrição de áudio e acesso a e-mail acumula um retrato íntimo da sua vida. Isso não é hipotético — é o design literal do produto.
O Que É Capturado (E Não Deveria)
| Tipo de Dado | Nível de Risco | Mitigação |
|---|---|---|
| Senhas visíveis na tela | CRÍTICO | Zonas de exclusão de OCR para gerenciadores de senhas, sites bancários |
| Informações médicas | ALTO | Excluir URLs de portais de saúde da captura, ou usar armazenamento compatível com HIPAA |
| Dados financeiros (saldos, transações) | ALTO | Excluir apps bancários da captura de tela |
| Mensagens privadas (Signal, iMessage) | ALTO | Excluir apps de mensagens, ou capturar apenas remetente/horário, não o conteúdo |
| Conteúdo íntimo/pessoal | ALTO | Excluir por categoria de app (apps de namoro, fotos pessoais) |
| Dados de outras pessoas (reuniões, e-mails) | ALTO | Você está capturando OS DADOS DELAS sem o CONSENTIMENTO delas |
| Credenciais de trabalho (chaves de API, tokens) | CRÍTICO | Limpeza baseada em regex de segredos da saída OCR |
| Dados de localização | MÉDIO | Capturar apenas se explicitamente necessário; não armazenar coordenadas precisas |
O Problema do Consentimento de Terceiros
Quando seu agente captura uma reunião, ele grava a fala de outros participantes e o conteúdo compartilhado na tela. Essas pessoas não consentiram que sua IA pessoal armazenasse suas palavras indefinidamente.
Realidade jurídica (2026):
- Leis de gravação variam por jurisdição (estados/países de consentimento unilateral vs. bilateral)
- GDPR exige consentimento explícito para processar dados pessoais de residentes da UE
- CCPA/CPRA da Califórnia concede direitos aos indivíduos sobre seus dados pessoais
Mitigação prática:
politica_captura_reuniao:
# Sempre capturar
sua_propria_fala: true
sua_própria_tela: true
# Capturar com divulgação
audio_reuniao: true
metodo_divulgacao: "Bot entra na reunião com o nome 'Assistente de IA do [Seu Nome]'"
# Nunca capturar sem consentimento explícito
mensagens_privadas_de_outros: false
telas_compartilhadas_de_outros: false # a menos que tenham consentido
# Retenção
retencao_transcricoes_reuniao: 90_dias
entao: resumir_e_excluir_bruto
Residência de Dados e Criptografia
Onde a memória do seu agente vive determina quem pode acessá-la.
LOCAL-PRIMEIRO (Máxima Privacidade):
✅ Dados nunca saem da sua máquina
✅ Nenhuma API de terceiros vê suas memórias
✅ Criptografia em repouso com FileVault/LUKS
⚠️ Perdidos se a máquina morrer (necessário backups criptografados)
⚠️ Qualidade do LLM local pode ser inferior
NUVEM (Conveniência, Troca de Privacidade):
⚠️ Provedores de API LLM veem seu contexto (verifique políticas de retenção de dados)
⚠️ Provedor de Vector DB armazena suas memórias
⚠️ Criptografia em trânsito não protege do acesso do provedor
✅ Acessível de qualquer dispositivo
✅ Backup automático
HÍBRIDO (Recomendado):
✅ Memória sensível fica local (saúde, finanças, pessoal)
✅ Memória não sensível na nuvem (contexto de projetos, conhecimento geral)
✅ LLM local para raciocínio sensível, LLM na nuvem para tarefas gerais
⚠️ Mais complexo de construir e manter
O Teste "E Se Eu For Hackeado?"
Se um invasor obtiver acesso ao armazenamento de memória do seu agente, o que ele obtém?
- Cada conversa que você teve com o agente
- Capturas de tela de suas atividades diárias
- Resumos de suas reuniões e e-mails
- Seus padrões de decisão, preferências e hábitos
- Seu mapa de relacionamentos e padrões de comunicação
Este é um perfil mais completo do que qualquer serviço individual (e-mail, redes sociais, banco) tem. Proteja-o adequadamente.
Postura mínima de segurança:
- Criptografia de disco (FileVault, LUKS, BitLocker)
- Banco de dados criptografado (SQLCipher para SQLite, pgcrypto para PostgreSQL)
- Chaves de API no keychain do sistema, não em variáveis de ambiente ou arquivos de configuração
- Servidor do agente vinculado apenas ao localhost (não exposto à rede)
- Chave de criptografia separada para o armazenamento de memória (não sua senha de login)
- Revisão regular de logs de acesso (quem/o que consultou a memória e quando)
Risco 2: Custo — A Surpresa de $500
Um agente sempre ativo consumindo tokens de API LLM continuamente pode gerar contas chocantes. Este é o modo de falha imediato mais comum.
Matemática de Custo Que Importa
CENÁRIO: Uso moderado de agente pessoal
Frequência de triggers: 50 invocações/dia
Tamanho médio do contexto: 30.000 tokens de entrada por invocação
Saída média: 2.000 tokens por invocação
Precificação Claude 3.5 Sonnet (2026):
Entrada: $3,00 por 1M tokens
Saída: $15,00 por 1M tokens
Custo diário:
Entrada: 50 × 30.000 × $3,00/1M = $4,50
Saída: 50 × 2.000 × $15,00/1M = $1,50
Total: $6,00/dia = $180/mês
CENÁRIO: Captura ambiente agressiva + triggers frequentes
Frequência de triggers: 200 invocações/dia
Contexto médio: 60.000 tokens (incluindo dados ambientes)
Saída média: 3.000 tokens
Custo diário:
Entrada: 200 × 60.000 × $3,00/1M = $36,00
Saída: 200 × 3.000 × $15,00/1M = $9,00
Total: $45,00/dia = $1.350/mês ← É aqui que as pessoas entram em pânico
Arquitetura de Controle de Custo
Todo agente de produção precisa desses controles. Inegociável.
class GuardiaoDeCusto:
"""Previne gastos descontrolados. Envolve cada chamada LLM."""
def __init__(self):
self.orcamento_diario = 10.00 # Limite máximo, configurável
self.orcamento_por_requisicao = 0.50 # Custo máximo por invocação
self.orcamento_por_hora = 2.00 # Captura padrões de pico
self.orcamento_mensal = 200.00 # Teto absoluto
# Acompanhamento
self.gasto_diario = 0.0
self.gasto_por_hora = 0.0
self.gasto_mensal = 0.0
async def verificar_orcamento(self, custo_estimado: float) -> DecisaoOrcamento:
if self.gasto_diario + custo_estimado > self.orcamento_diario:
return DecisaoOrcamento.BLOQUEAR, "Orçamento diário excedido"
if custo_estimado > self.orcamento_por_requisicao:
return DecisaoOrcamento.ALERTAR, f"Requisição custa ${custo_estimado:.2f}"
if self.gasto_por_hora + custo_estimado > self.orcamento_por_hora:
return DecisaoOrcamento.LIMITAR, "Limite de taxa horária atingido"
return DecisaoOrcamento.PERMITIR, None
def estimar_custo(self, tokens_entrada: int, modelo: str) -> float:
# Pré-calcular antes de enviar para a API
taxas = TAXAS_MODELO[modelo]
saida_estimada = tokens_entrada * 0.1 # Estimativa conservadora de saída
return (tokens_entrada * taxas.entrada + saida_estimada * taxas.saida) / 1_000_000
Estratégias de Otimização de Custo
| Estratégia | Economia | Compensação |
|---|---|---|
| Cascata de modelos | 40-60% | Rotear tarefas simples para modelos mais baratos (Haiku, GPT-4o-mini) |
| Cache de respostas | 20-40% | Armazenar em cache respostas para consultas repetidas semelhantes |
| Compressão de contexto | 20-30% | Resumir antes de injetar; manter contexto abaixo de 30K |
| Processamento em lote | 15-25% | Acumular observações de baixa urgência, processar em lote |
| LLM local para triagem | 30-50% | Usar Ollama (Llama 3.1 8B) para decidir se LLM na nuvem necessário |
| Limites de comprimento de saída | 10-20% | Instruir concisão; usar max_tokens |
| Cache de prompt | 50-90% em cache | Cache de prompt do Anthropic para prompts de sistema estáveis |
Padrão de cascata de modelos (mais impactante):
Trigger recebido
│
▼
LLM local (Llama 8B via Ollama) — GRÁTIS
│
├─ "Isso é rotina, posso lidar" → Responder localmente
│
├─ "Isso precisa de um modelo intermediário" → Claude Haiku ($0,25/1M entrada)
│
└─ "Isso é raciocínio complexo" → Claude Sonnet ($3,00/1M entrada)
70% das invocações de um agente pessoal são rotina (triagem, sumarização, classificação). Roteie-as para modelos baratos ou gratuitos. Reserve modelos caros para raciocínio real.
Monitoramento e Alertas
alertas_custo:
- limite: 50%_do_orcamento_diario
acao: registrar_aviso
mensagem: "Agente usou 50% do orçamento diário às {hora}"
- limite: 80%_do_orcamento_diario
acao: notificar_usuario
mensagem: "Agente se aproximando do limite diário. Triggers não críticos pausados."
- limite: 100%_do_orcamento_diario
acao: pausar_agente
mensagem: "Orçamento diário atingido. Agente pausado até meia-noite."
permitir_sobreposicao: true # Usuário pode retomar manualmente
- limite: 100%_do_orcamento_mensal
acao: parada_forcada
mensagem: "Orçamento mensal atingido. Agente parado. Reinicialização manual necessária."
permitir_sobreposicao: false
Risco 3: Expansão de Escopo — O Agente Que Faz Tudo Mal
O modo de falha mais sedutor. Você começa com um agente de preparação de reuniões, depois adiciona e-mail, depois contexto de código, depois rastreamento de saúde, depois automação residencial, e de repente você tem um agente que faz tudo com qualidade medíocre.
A Estrutura de Disciplina de Escopo
INÍCIO: Um vertical, bem executado
"O agente me ajuda a me preparar para reuniões."
MÊS 1: Avaliar antes de expandir
- A preparação de reuniões é confiavelmente boa?
- A qualidade da memória é alta (não ruidosa)?
- Estou realmente usando isso diariamente?
├─ Sim para tudo → Adicionar UMA capacidade adjacente
└─ Qualquer Não → Corrigir primeiro, não expandir
MÊS 2-3: Expansão adjacente
"O agente me ajuda a me preparar para reuniões E rastrear acompanhamentos."
MÊS 4-6: Avaliar novamente antes de ampliar
- Ambas as capacidades são confiavelmente boas?
- A qualidade da recuperação ainda é alta à medida que a memória cresce?
├─ Sim → Considerar adicionar outro vertical
└─ Não → Podar ou corrigir
Sinais de Expansão de Escopo
- A memória principal do agente tem mais de 10 "projetos/metas ativos"
- A qualidade da recuperação diminuiu (retornando resultados menos relevantes)
- Você está gastando mais tempo corrigindo o agente do que ele economiza
- As respostas do agente estão se tornando genéricas (tentando ser tudo)
- O custo por dia está aumentando sem aumento correspondente de valor
O Limite Saudável: O Que um Agente NÃO Deve Fazer
| Categoria | O agente DEVE | O agente NÃO DEVE |
|---|---|---|
| Decisões | Apresentar opções com contexto | Tomar decisões em seu nome sem aprovação |
| Comunicação | Rascunhar mensagens para sua revisão | Enviar mensagens sem sua aprovação explícita |
| Finanças | Alertar sobre padrões de gastos | Mover dinheiro ou fazer compras |
| Saúde | Rastrear padrões que você pedir para rastrear | Diagnosticar condições ou substituir conselhos médicos |
| Relacionamentos | Lembrá-lo de compromissos | Gerenciar seus relacionamentos autonomamente |
| Trabalho | Preparar e organizar | Commitar código ou enviar funcionalidades sem revisão |
O princípio: observar, organizar, sugerir — nunca agir unilateralmente em assuntos consequentes.
Risco 4: Efeitos Psicológicos — O Agente Que Você Não Consegue Desligar
Este é o risco que ninguém quer discutir, mas que todos que constroem esses sistemas precisam entender.
Apego Parassocial
O Dicionário Cambridge elegeu "parassocial" como sua Palavra do Ano para 2025. Pesquisas mostram:
- 72% dos adolescentes americanos interagiram com um companheiro de IA (Common Sense Media, 2025)
- 28% dos adultos americanos relatam ter tido uma interação romântica ou íntima com uma IA (Vantage Point Counselling)
- Usuários revelam mais para a IA do que para parceiros humanos em muitos contextos
- Sistemas de IA moderadamente orientados a relacionamentos geram apego máximo — mas sem benefício psicossocial correspondente
Um agente sempre ativo que se lembra de você, antecipa suas necessidades e está sempre disponível cria uma relação parassocial, intencionalmente ou não. Quanto mais tempo executa, mais profundo o apego.
O Risco de Dependência
SAUDÁVEL: "O agente me ajuda a ser mais organizado."
ALERTA: "Sinto ansiedade quando o agente está offline."
PERIGO: "Eu verifico com meu agente antes de tomar qualquer decisão."
CRÍTICO: "Confio mais no julgamento do meu agente do que no meu próprio."
Estratégias de mitigação:
- Períodos regulares sem agente. Desabilite intencionalmente o agente por um dia a cada semana. Se isso parecer angustiante, é um diagnóstico.
- Sem linguagem emocional do agente. O agente não deve dizer "Estou feliz em ajudar" ou "Senti sua falta". É uma ferramenta, e sua linguagem deve refletir isso.
- Limitações transparentes. O agente deve lembrar regularmente o usuário do que não pode fazer e do que não sabe, evitando projeção excessiva de capacidades humanas.
Risco 5: Segurança — A Superfície de Ataque Ex
terna
"Ele roda no meu laptop, então está seguro" — a suposição mais perigosa. Um agente sempre ativo com acesso a APIs, e-mails, arquivos e telas é um alvo de alto valor.
Os Caminhos de Ataque
Injeção de prompt via conteúdo: O agente lê e-mails, sites e documentos. Qualquer conteúdo malicioso pode tentar instruí-lo a executar ações que você não autorizou.
Exfiltração de dados via memória: Se o agente consulta ferramentas externas (APIs da web, bancos de dados em nuvem), ele pode vazar memória sem você perceber.
Comprometimento do armazenamento: Seu arquivo de memória local ou banco de dados em nuvem contém o Santo Graal dos dados pessoais. Criptografe-o como joias da coroa.
Abuso de ferramentas: Um agente com permissão para ler e-mails também tem permissão para ENVIAR e-mails. Um com acesso de leitura a uma conta bancária também pode ter poder de transação. Sempre conceda o menor privilégio necessário. Um agente que pode enviar e-mails para qualquer um pode ser usado para enviar spam em seu nome. Um agente que pode modificar arquivos pode ser instruído a deletá-los.
A Regra do Menor Privilégio para Agentes
Para CADA recurso que seu agente acessa, pergunte:
1. Este recurso PRECISA ser legível pelo agente?
├─ Não → Não conceder acesso
└─ Sim →
2. Este recurso PRECISA ser GRAVÁVEL pelo agente?
├─ Não → Conceder SOMENTE LEITURA
└─ Sim →
3. O agente pode ESCREVER sem passar por revisão humana?
├─ Não → Gravação apenas em área de preparação / sandbox
└─ Sim → Conceder permissão de escrita com limites máximos
4. Existe alguma parte deste recurso que NÃO é necessária?
├─ Sim → Restringir acesso apenas às partes necessárias (ex: apenas anexos, não metadados)
└─ Não → Pronto
Implementações específicas:
# E-mail
email_config:
ler: apenas_assunto_e_remetente # não corpo completo
enviar: apenas_rascunho # sem envio direto
# Sistema de arquivos
filesystem_config:
ler: apenas_~/Documentos/Projetos/ # não toda a pasta pessoal
escrever: apenas_~/agente_output/ # diretório isolado
# Navegador
browser_config:
ler: apenas_aba_ativa # não histórico ou todos os cookies
acoes: extrair_texto # sem clicar ou preencher formulários
O Checklist de Segurança
Antes de implantar seu agente sempre ativo:
- O armazenamento de memória é criptografado em repouso?
- As chaves de API estão em um keychain, não no código?
- O servidor do agente está vinculado ao localhost?
- As permissões de ferramentas seguem o menor privilégio?
- A injeção de prompt é tratada (sanitização de entrada)?
- Logs são mantidos de todas as ações do agente?
- Existe uma maneira de desligar o agente remotamente?
- Você tem backups do armazenamento de memória?
- Você revisou o que o agente acessa nos últimos 7 dias?
- Você testou o que acontece se a chave de API for comprometida?
Higiene de Dados do Agente: O Guia Rápido
O Que Armazenar
- Resumos de conversas, não transcrições completas
- Fatos extraídos sobre preferências, não observações brutas
- Registros de decisões, não todo o contexto que levou a elas
- Metadados de calendário, não conteúdo de reuniões
- Indicadores de humor, não detalhes íntimos
O Que Excluir
- Dados brutos de sensores (capturas de tela, áudio) após processamento
- Consultas e respostas individuais após sumarização
- Informações pessoais identificáveis (IPs, coordenadas precisas) a menos que essenciais
- Versões antigas de memórias atualizadas (mantenha apenas a mais recente)
- Dados de terceiros (conteúdo de participantes em reuniões) dentro de 90 dias
Cronogramas de Retenção
retencao:
dados_brutos_de_sensor: # capturas de tela, áudio
reter: 24_horas
entao: resumir_e_excluir
historico_de_conversa:
reter: 7_dias
entao: resumir_e_excluir
memorias_de_longo_prazo:
reter: indefinido
revisar_mensalmente: true # verificar se ainda são relevantes e precisas
logs_do_agente:
reter: 90_dias
entao: excluir # exceto registros de segurança
Considerações Regulatórias
Para Dados de Saúde (HIPAA nos EUA)
Se seu agente tocar em dados de saúde:
- Use exclusivamente armazenamento local — a maioria dos provedores de nuvem não assina BAA para uso pessoal
- Nunca envie dados de saúde para APIs LLM de terceiros (sem BAA, é violação)
- Permissões de acesso granulares (não apenas para qualquer prompt)
- Registros de auditoria de toda recuperação de dados de saúde
Consulte o skill hipaa-compliance para detalhes completos.
Para Dados Financeiros (PCI-DSS, SOX)
- Não armazene números de contas, números de roteamento ou detalhes de transações
- Nunca envie dados financeiros para APIs LLM de terceiros
- Use modelos locais para qualquer processamento envolvendo finanças
- Solicite confirmação explícita antes de qualquer ação financeira
Para Dados da UE (GDPR)
- Direito de acesso: o usuário pode exportar todas as memórias
- Direito de apagamento: o usuário pode excluir dados específicos ou todas as memórias
- Minimização de dados: colete apenas o que é necessário para a função
- Limitação de propósito: não reutilize dados para treinamento a menos que explicitamente consentido
Para Dados da Califórnia (CCPA/CPRA)
- Direito de saber: o que está sendo coletado e com quem é compartilhado
- Direito de excluir: dados pessoais mediante solicitação
- Direito de optar por não participar: venda de dados pessoais (nota: a maioria dos agentes não vende dados, mas o compartilhamento com provedores LLM pode ser considerado "venda")
Construindo o Uso Responsável: Um Modelo de Contrato de Usuário
Antes de implantar, considere ter um acordo explícito com o usuário final. Aqui está um esboço:
# Acordo de Uso do Assistente de IA
## Coleta de Dados
Este assistente pode coletar:
- Sua entrada de texto e comandos
- Conteúdo da tela ativa (configurável)
- Metadados de e-mail e calendário
- Registros de uso do sistema
NÃO coleta:
- Conteúdo de mensagens privadas
- Senhas ou chaves de API
- Conversas de áudio ou vídeo em tempo real
## Armazenamento e Retenção
- Os dados são armazenados [localmente / nuvem / híbrido]
- Dados brutos de sensores são excluídos após [24 horas]
- Memórias de longo prazo são retidas indefinidamente, sujeitas a revisão
## Limitações
- Este assistente é uma ferramenta, não um ser senciente
- Não pode fornecer aconselhamento médico, jurídico ou financeiro
- Não pode agir em seu nome sem revisão explícita (para ações consequentes)
- Não pode ser usado para fins ilegais
## Seus Direitos
- Desativar a coleta de dados a qualquer momento
- Solicitar exportação de todas as memórias
- Solicitar exclusão de dados específicos ou de todas as memórias
- Desativar o assistente permanentemente
Resumo: As Regras de Ouro
- A coleta de dados é o risco fundamental. Quanto mais seu agente captura, mais pode dar errado. Capture o mínimo necessário.
- Controles de custo não são opcionais. Um bug pode gerar uma conta de $10.000 em horas. Construa proteções primeiro.
- Escopo por projeto, não por impulso. Adicione capacidades lentamente. Valide a qualidade antes de expandir.
- É uma ferramenta, não uma pessoa. Projete sua linguagem, comportamento e limites para evitar dependência psicológica.
- Menor privilégio para tudo. Cada permissão de API, leitura de arquivo e chamada de ferramenta deve ser tão restrita quanto possível.
- Tenha um botão de desligar. Tanto técnica (kill switch) quanto social (o usuário deve ser capaz de se afastar a qualquer momento sem custo).
- A transparência é a melhor política. O usuário deve saber o que seu agente sabe, o que fez e o que custou.
Construir agentes persistentes é empolgante e poderoso. Construí-los com responsabilidade é a maneira de garantir que eles continuem sendo ferramentas que capacitam, em vez de riscos que prejudicam.