AI Security Maturity Model·AWS v1.0.0

Arraste para explorar · faça pinça para ampliar
Início / Matriz / Capacidade 5 / c5.3
Fundacional Segurança da aplicação de IACamada de defesa em profundidade: Aplicação de IA Capacidade 5 · Agentes de IA generativaCaso de uso: IA que age 👤 ClienteModelo de Responsabilidade Compartilhada da AWS: quem implementa e opera este controle. Cliente = é seu; AWS = a AWS opera e você o herda; Compartilhada = ambos têm obrigações.

c5.3 Previna o envenenamento da memória do agente

Impeça que os atacantes corrompam a memória persistente de um agente para influenciar seu comportamento futuro, protegendo os identificadores de sessão e validando o que é escrito na memória.

Fundacional
Aprimorada
Avançada
Esforço: Médio Impacto: Alto Scopes de IA generativaDa AWS Generative AI Security Scoping Matrix.: 3 · Modelos pré-treinados; 4 · Modelos ajustados (fine-tuned) Dimensões de segurança agênticaDa AWS Agentic AI Security Scoping Matrix.: Memória e estado, Limites operacionais

Guia de implementação

Como implementar na AWS

Garanta que os usuários não possam modificar seu session ID ou actor ID, e nunca coloque ActorID/SessionID nos system prompts onde poderiam ser manipulados. Adicione validação de entrada (por exemplo, um Lambda de pré-processamento) que rejeite tentativas de injetar informação falsa destinada a corromper a memória do agente.

Critérios de aceitação

Os session/actor ID são controlados pelo servidor e ausentes dos prompts; as escritas na memória são validadas; uma tentativa de envenenamento de memória é rejeitada.

Implementação prática

Como este controle é implementado em cada arquitetura de referência:

Os session/actor ID são definidos no lado do servidor (nunca nos prompts) e uma camada de validação rejeita tentativas de escrever informação falsa na memória do agente na conta de IA generativa.

  1. Garanta que os usuários não possam modificar seu session ID ou actor ID; defina-os no lado do servidor e nunca coloque ActorID/SessionID nos system prompts onde poderiam ser manipulados.
    Conta de aplicação → Conta de IA generativa AgentCore Memory AWS Lambda
  2. Adicione um Lambda de pré-processamento que valide as escritas na memória e rejeite tentativas de injetar informação falsa destinada a corromper a memória do agente.
    Conta de IA generativa AWS Lambda
  3. Alarme em escritas na memória rejeitadas repetidamente como sinal de envenenamento.
    Conta de IA generativa CloudWatch

Como validar: Os session/actor ID são controlados pelo servidor e ausentes dos prompts; as escritas na memória são validadas; uma tentativa de envenenamento de memória é rejeitada.

Evite: Confiar que o modelo ou o cliente forneçam o actor/session ID. Isso permite que um usuário alcance a memória de outro; controle os identificadores no lado do servidor.

OU de IA generativa (multi-conta) →

Os session/actor ID controlados pelo servidor e uma camada de validação das escritas na memória previnem o envenenamento dentro da conta.

  1. Defina os session/actor ID no lado do servidor e mantenha-os fora dos system prompts.
    Camada de aplicação (papel IAM) AgentCore Memory AWS Lambda
  2. Valide as escritas na memória com um Lambda de pré-processamento que rejeite a injeção de informação falsa.
    Camada de IA generativa (papel IAM) AWS Lambda
  3. Alarme em escritas rejeitadas repetidas.
    Registro na conta CloudWatch

Como validar: Os session/actor ID são controlados pelo servidor e ausentes dos prompts; as escritas na memória são validadas; uma tentativa de envenenamento é rejeitada.

Evite: Escrever na memória do agente sem validação. Uma memória envenenada contamina cada sessão futura; valide o que é armazenado.

Conta única (ponto de entrada) →

Ameaças atendidas

  • Envenenamento de memória: injetar informação falsa que contamina sessões futuras.
  • Usuários manipulando seu session/actor ID para alcançar outros dados.

Serviços AWS

Amazon Bedrock AgentCore Memory AWS Lambda

Mapeamentos de frameworks

OWASP GenAI/LLM Top 10 (2026)

  • LLM01 Prompt Injection
  • LLM05 Data and Model Poisoning

NIST AI Risk Management Framework (AI 100-1)

  • MANAGE.1 AI risks are prioritized, responded to and managed

AWS Well-Architected Generative AI Lens (Security)

  • GENSEC06-BP01 Implement data purification filters for model training workflows
  • GENSEC05-BP01 Implement least privilege and permission boundaries for agentic workflows

OWASP GenAI Top 10 for Agentic Applications (2025)

  • ASI06 Memory and Context Poisoning

Assista

Vídeo da AWS: uma introdução ao Amazon Bedrock AgentCore Memory — como a memória persistente do agente é organizada e gerenciada, que é a base para protegê-la contra envenenamento e vazamentos entre usuários.

Recursos de aprendizado

Referências

  • AWS SRA para IA — Capacidade 5, Proteção de dados