AI Security Maturity Model·AWS v1.0.0

Arrastra para explorar · pellizca para ampliar
Inicio / Matriz / Capacidad 5 / c5.3
Fundacional Seguridad de la aplicación de IACapa de defensa en profundidad: Aplicación de IA Capacidad 5 · Agentes de IA generativaCaso de uso: IA que actúa 👤 ClienteModelo de Responsabilidad Compartida de AWS: quién implementa y opera este control. Cliente = es tuyo; AWS = lo opera AWS y tú lo heredas; Compartida = ambos tienen obligaciones.

c5.3 Previene el envenenamiento de la memoria del agente

Impide que los atacantes corrompan la memoria persistente de un agente para influir en su comportamiento futuro, protegiendo los identificadores de sesión y validando lo que se escribe en la memoria.

Fundacional
Mejorada
Avanzada
Esfuerzo: Medio Impacto: Alto Scopes de IA generativaDe la AWS Generative AI Security Scoping Matrix.: 3 · Modelos preentrenados; 4 · Modelos ajustados (fine-tuned) Dimensiones de seguridad agénticaDe la AWS Agentic AI Security Scoping Matrix.: Memoria y estado, Límites operativos

Guía de implementación

Cómo implementarlo en AWS

Asegura que los usuarios no puedan modificar su session ID o actor ID, y nunca coloques ActorID/SessionID en los system prompts donde podrían manipularse. Agrega validación de entrada (p. ej. un Lambda de preprocesamiento) que rechace los intentos de inyectar información falsa destinada a corromper la memoria del agente.

Criterios de aceptación

Los session/actor ID los controla el servidor y están ausentes de los prompts; las escrituras a memoria se validan; un intento de envenenamiento de memoria se rechaza.

Implementación práctica

Cómo se implementa este control en cada arquitectura de referencia:

Los session/actor ID se establecen del lado del servidor (nunca en los prompts) y una capa de validación rechaza los intentos de escribir información falsa en la memoria del agente en la cuenta de IA generativa.

  1. Asegura que los usuarios no puedan modificar su session ID ni actor ID; establécelos del lado del servidor y nunca coloques ActorID/SessionID en los system prompts donde podrían manipularse.
    Cuenta de aplicación → Cuenta de IA generativa AgentCore Memory AWS Lambda
  2. Agrega un Lambda de preprocesamiento que valide las escrituras a memoria y rechace los intentos de inyectar información falsa destinada a corromper la memoria del agente.
    Cuenta de IA generativa AWS Lambda
  3. Alarma ante escrituras a memoria rechazadas de forma repetida como señal de envenenamiento.
    Cuenta de IA generativa CloudWatch

Cómo validar: Los session/actor ID los controla el servidor y están ausentes de los prompts; las escrituras a memoria se validan; un intento de envenenamiento de memoria se rechaza.

Evita: Confiar en que el modelo o el cliente provean el actor/session ID. Eso permite que un usuario alcance la memoria de otro; controla los identificadores del lado del servidor.

OU de IA generativa (multi-cuenta) →

Los session/actor ID controlados por el servidor y una capa de validación de las escrituras a memoria previenen el envenenamiento dentro de la cuenta.

  1. Establece los session/actor ID del lado del servidor y mantenlos fuera de los system prompts.
    Capa de aplicación (rol IAM) AgentCore Memory AWS Lambda
  2. Valida las escrituras a memoria con un Lambda de preprocesamiento que rechace la inyección de información falsa.
    Capa de IA generativa (rol IAM) AWS Lambda
  3. Alarma ante escrituras rechazadas repetidas.
    Registro en la cuenta CloudWatch

Cómo validar: Los session/actor ID los controla el servidor y están ausentes de los prompts; las escrituras a memoria se validan; un intento de envenenamiento se rechaza.

Evita: Escribir en la memoria del agente sin validación. Una memoria envenenada contamina cada sesión futura; valida lo que se almacena.

Cuenta única (punto de entrada) →

Amenazas que atiende

  • Envenenamiento de memoria: inyectar información falsa que contamina sesiones futuras.
  • Usuarios manipulando su session/actor ID para alcanzar otros datos.

Servicios AWS

Amazon Bedrock AgentCore Memory AWS Lambda

Mapeos de frameworks

OWASP GenAI/LLM Top 10 (2026)

  • LLM01 Prompt Injection
  • LLM05 Data and Model Poisoning

NIST AI Risk Management Framework (AI 100-1)

  • MANAGE.1 AI risks are prioritized, responded to and managed

AWS Well-Architected Generative AI Lens (Security)

  • GENSEC06-BP01 Implement data purification filters for model training workflows
  • GENSEC05-BP01 Implement least privilege and permission boundaries for agentic workflows

OWASP GenAI Top 10 for Agentic Applications (2025)

  • ASI06 Memory and Context Poisoning

Ver video

Video de AWS: una introducción a Amazon Bedrock AgentCore Memory — cómo se organiza y gestiona la memoria persistente del agente, que es la base para protegerla contra el envenenamiento y las fugas entre usuarios.

Recursos de aprendizaje

Referencias

  • AWS SRA para IA — Capacidad 5, Protección de datos