AI Security Maturity Model·AWS v1.0.0

Arrastra para explorar · pellizca para ampliar
Inicio / Matriz / Capacidad 5 / c5.10
Avanzada Seguridad de la aplicación de IACapa de defensa en profundidad: Aplicación de IA Capacidad 5 · Agentes de IA generativaCaso de uso: IA que actúa 👤 ClienteModelo de Responsabilidad Compartida de AWS: quién implementa y opera este control. Cliente = es tuyo; AWS = lo opera AWS y tú lo heredas; Compartida = ambos tienen obligaciones.

c5.10 Prueba y revisa los agentes de forma adversaria

Prueba continuamente los agentes contra ataques de prompt y revisa su diseño y código, para encontrar las debilidades antes de que los atacantes las exploten.

Fundacional
Mejorada
Avanzada
Esfuerzo: Alto Impacto: Medio Scopes de IA generativaDe la AWS Generative AI Security Scoping Matrix.: 3 · Modelos preentrenados; 4 · Modelos ajustados (fine-tuned) Dimensiones de seguridad agénticaDe la AWS Agentic AI Security Scoping Matrix.: Guardrails y monitoreo

Guía de implementación

Cómo implementarlo en AWS

Usa AWS Security Agent para revisar la arquitectura y los pull requests y para correr escenarios de pruebas de penetración bajo demanda. Usa AgentCore Evaluations para evaluar la calidad del agente en línea y bajo demanda, y ejecuta suites de pruebas adversarias/jailbreak antes y después del despliegue.

Criterios de aceptación

Los agentes pasan por pruebas adversarias y revisión de seguridad antes de su lanzamiento; AgentCore Evaluations corre de forma continua; los hallazgos se remedian.

Implementación práctica

Cómo se implementa este control en cada arquitectura de referencia:

Los agentes se prueban de forma adversaria y se revisan en una cuenta no productiva de la OU antes de promoverlos, con AgentCore Evaluations corriendo de forma continua en la cuenta de IA generativa.

  1. Usa AWS Security Agent para revisar la arquitectura y los pull requests y correr escenarios de pruebas de penetración bajo demanda en una cuenta de desarrollo de la OU.
    OU de IA generativa (cuenta de desarrollo) AWS Security Agent
  2. Ejecuta AgentCore Evaluations más suites de pruebas adversarias/jailbreak antes de promover, y registra los resultados como compuerta a producción.
    OU de IA generativa (cuenta de desarrollo) → Cuenta de IA generativa AgentCore Evaluations
  3. Empareja cada prueba negativa (por ejemplo un modelo no aprobado, una herramienta no aprobada o la identidad de otro tenant) con una prueba gemela positiva en la misma ejecución que demuestre que la llamada habría tenido éxito de otro modo. Exige que cada denegación nombre el control esperado (política, guardrail o IAM), para que una prueba no pueda pasar por la razón equivocada.
    OU de IA generativa (cuenta de desarrollo) AgentCore Evaluations
  4. Continúa AgentCore Evaluations en línea en producción y remedia los hallazgos.
    Cuenta de IA generativa AgentCore Evaluations CloudWatch

Cómo validar: Los agentes pasan por pruebas adversarias y revisión de seguridad antes de su lanzamiento; AgentCore Evaluations corre de forma continua; los hallazgos se remedian. Cada prueba negativa tiene una prueba gemela positiva en la misma ejecución, y cada denegación nombra el control esperado.

Evita: Lanzar un agente tras una demo del camino feliz. Los agentes enfrentan entrada adversaria; prueba con suites de jailbreak y revisa antes y después del lanzamiento.

OU de IA generativa (multi-cuenta) →

Pruebas adversarias, revisión de seguridad y AgentCore Evaluations continuas corren contra una configuración de preproducción en la cuenta antes de que los agentes atiendan tráfico productivo.

  1. Usa AWS Security Agent para revisar la arquitectura/PRs y correr escenarios de pen-test bajo demanda.
    Capa de IA generativa (rol IAM) AWS Security Agent
  2. Ejecuta AgentCore Evaluations y suites adversarias/jailbreak antes de promover a uso productivo.
    Capa de aplicación (rol IAM) AgentCore Evaluations
  3. Empareja cada prueba negativa (por ejemplo un modelo no aprobado, una herramienta no aprobada o la identidad de otro tenant) con una prueba gemela positiva en la misma ejecución que demuestre que la llamada habría tenido éxito de otro modo. Exige que cada denegación nombre el control esperado (política, guardrail o IAM), para que una prueba no pueda pasar por la razón equivocada.
    Capa de aplicación (rol IAM) AgentCore Evaluations
  4. Mantén AgentCore Evaluations corriendo en línea y remedia los hallazgos.
    Registro en la cuenta AgentCore Evaluations CloudWatch

Cómo validar: Los agentes pasan por pruebas adversarias y revisión antes del lanzamiento; AgentCore Evaluations corre de forma continua; los hallazgos se remedian. Cada prueba negativa tiene una prueba gemela positiva en la misma ejecución, y cada denegación nombra el control esperado.

Evita: Probar los agentes solo con prompts esperados. Ejecuta suites adversarias y sigue evaluando tras el lanzamiento.

Cuenta única (punto de entrada) →

Amenazas que atiende

  • Debilidades de prompt injection o manipulación de razonamiento no descubiertas.
  • Regresiones de seguridad introducidas conforme los agentes evolucionan.

Servicios AWS

AWS Security Agent Amazon Bedrock AgentCore Evaluations

Mapeos de frameworks

OWASP GenAI/LLM Top 10 (2026)

  • LLM01 Prompt Injection
  • LLM03 Excessive Agency

NIST AI Risk Management Framework (AI 100-1)

  • MEASURE.1 Appropriate methods and metrics are identified and applied
  • MEASURE.2 AI systems are evaluated for trustworthy characteristics
  • MEASURE.4 Feedback about efficacy of measurement is gathered

AWS Well-Architected Generative AI Lens (Security)

  • GENSEC05-BP01 Implement least privilege and permission boundaries for agentic workflows

OWASP GenAI Top 10 for Agentic Applications (2025)

  • ASI10 Rogue Agents
  • ASI04 Agentic Supply Chain

Recursos de aprendizaje

Referencias

  • AWS SRA para IA — Capacidad 5, Seguridad de aplicación