AI Security Maturity Model·AWS v1.0.0

Arrastra para explorar · pellizca para ampliar
Inicio / Matriz / Capacidad 4 / c4.5
Mejorada Seguridad de la aplicación de IACapa de defensa en profundidad: Aplicación de IA Capacidad 4 · HerramientasCaso de uso: IA que actúa 👤 ClienteModelo de Responsabilidad Compartida de AWS: quién implementa y opera este control. Cliente = es tuyo; AWS = lo opera AWS y tú lo heredas; Compartida = ambos tienen obligaciones.

c4.5 Filtra las entradas y salidas de herramientas con Guardrails

Valida los parámetros que entran a las herramientas y los datos que salen, para que la prompt injection no pueda convertir las llamadas a herramientas en acciones maliciosas ni filtrar datos sensibles.

Fundacional
Mejorada
Avanzada
Esfuerzo: Bajo Impacto: Alto Scopes de IA generativaDe la AWS Generative AI Security Scoping Matrix.: 3 · Modelos preentrenados; 4 · Modelos ajustados (fine-tuned) Dimensiones de seguridad agénticaDe la AWS Agentic AI Security Scoping Matrix.: Guardrails y monitoreo

Guía de implementación

Cómo implementarlo en AWS

Aplica Amazon Bedrock Guardrails a las entradas y salidas de herramientas en todos los patrones de integración, bloqueando parámetros maliciosos, temas restringidos y exposición de datos sensibles antes de que las herramientas se ejecuten. Para integraciones con AgentCore Gateway, asocia un policy engine en modo enforce al gateway y agrega políticas de guardrail que prohíban una solicitud cuando la puntuación de un filtro de contenido o de prompt attack supere tu umbral, de modo que se bloquee antes de llegar al target. Los guardrails en políticas solo están disponibles en algunas Regiones y las puntuaciones son probabilísticas, así que ajusta los umbrales primero en modo log-only. Haz cumplir el uso de guardrails en la invocación directa de Amazon Bedrock con la clave de condición IAM bedrock:GuardrailIdentifier, para que una llamada al modelo sin el guardrail aprobado se deniegue.

Criterios de aceptación

Los guardrails corren sobre las entradas y salidas de herramientas; un intento de parámetro malicioso se bloquea; los datos sensibles se redactan de las respuestas de herramientas. Una invocación directa del modelo sin el guardrail aprobado se deniega.

Implementación práctica

Cómo se implementa este control en cada arquitectura de referencia:

Los guardrails validan los parámetros que entran y los datos que salen de las herramientas en la cuenta de IA generativa, para que un prompt inyectado no pueda convertir una llamada en un arma ni filtrar datos por una respuesta.

  1. Aplica Amazon Bedrock Guardrails a las entradas y salidas de herramientas en todos los patrones de integración, bloqueando parámetros maliciosos y temas restringidos antes de que las herramientas se ejecuten.
    Cuenta de IA generativa Amazon Bedrock
  2. Para integraciones con AgentCore Gateway, asocia un policy engine en modo enforce al gateway y agrega políticas de guardrail que prohíban una solicitud cuando la puntuación de un filtro de contenido o de prompt attack supere tu umbral, para que las solicitudes marcadas se bloqueen antes de llegar a la herramienta. Los guardrails en políticas solo están disponibles en algunas Regiones y las puntuaciones son probabilísticas, así que ajusta los umbrales primero en modo log-only.
    Cuenta de IA generativa AgentCore Gateway
  3. Haz cumplir el uso de guardrails, no solo configurarlos. Asocia una política de identidad IAM que deniegue bedrock:InvokeModel, bedrock:InvokeModelWithResponseStream, bedrock:Converse y bedrock:ConverseStream salvo que la clave de condición bedrock:GuardrailIdentifier coincida con el guardrail y la versión aprobados. Para aplicar un guardrail en varias OU o cuentas, usa una política de Amazon Bedrock en AWS Organizations que apunte a un guardrail versionado. Esto aplica a la invocación directa de Amazon Bedrock; mantén el content guarding en modo comprehensive para que los llamadores no puedan omitir la evaluación con guard content tags.
    OU de IA generativa Amazon Bedrock IAM AWS Organizations
  4. Redacta los datos sensibles de las salidas de herramientas antes de que vuelvan al modelo o a la cuenta de aplicación.
    Cuenta de IA generativa → Cuenta de aplicación Amazon Bedrock

Cómo validar: Los guardrails corren sobre las entradas y salidas de herramientas; un intento de parámetro malicioso se bloquea; los datos sensibles se redactan de una respuesta de herramienta. Una invocación directa del modelo sin el guardrail aprobado se deniega.

Evita: Proteger el prompt del chat pero no los parámetros de las herramientas. La injection suele apuntar a los argumentos de la herramienta; filtra tanto las entradas como las salidas de cada herramienta.

OU de IA generativa (multi-cuenta) →

Los guardrails en las entradas y salidas de herramientas en la capa de IA generativa bloquean parámetros maliciosos y redactan datos sensibles de las respuestas.

  1. Aplica Bedrock Guardrails a las entradas y salidas de herramientas para cada patrón de integración.
    Capa de IA generativa (rol IAM) Amazon Bedrock
  2. Para las herramientas mediadas por el gateway, asocia un policy engine en modo enforce a AgentCore Gateway y agrega políticas de guardrail que bloqueen una solicitud cuando la puntuación de un filtro de contenido o de prompt attack supere tu umbral, antes de que llegue a la herramienta. Los guardrails en políticas solo están disponibles en algunas Regiones y las puntuaciones son probabilísticas, así que ajusta los umbrales primero en modo log-only.
    Capa de IA generativa (rol IAM) AgentCore Gateway
  3. Haz cumplir el uso de guardrails, no solo configurarlos. Asocia una política de identidad IAM que deniegue bedrock:InvokeModel, bedrock:InvokeModelWithResponseStream, bedrock:Converse y bedrock:ConverseStream salvo que la clave de condición bedrock:GuardrailIdentifier coincida con el guardrail y la versión aprobados. Como alternativa o complemento, configura la aplicación forzada de guardrails a nivel de cuenta en cada Región que uses. Esto aplica a la invocación directa de Amazon Bedrock. La clave de condición IAM por sí sola no impide que un llamador omita la evaluación del prompt con guard content tags, así que configura el content guarding en modo comprehensive en la configuración de aplicación forzada a nivel de cuenta. No uses un rol con esta condición para APIs que invocan modelos en tu nombre, como RetrieveAndGenerate, InvokeAgent o InvokeInlineAgent, porque algunas de esas llamadas internas no llevan guardrail y se deniegan.
    Capa de IA generativa (rol IAM) Amazon Bedrock IAM
  4. Redacta los datos sensibles de las salidas de herramientas antes de que la capa de aplicación las use.
    Capa de aplicación (rol IAM) Amazon Bedrock

Cómo validar: Los guardrails corren sobre la E/S de herramientas; un parámetro malicioso se bloquea; los datos sensibles se redactan de las respuestas. Una invocación directa del modelo sin el guardrail aprobado se deniega.

Evita: Confiar en los argumentos de herramienta que produjo el modelo. Valida parámetros y salidas para que la injection no pueda convertir una herramienta en una primitiva de ataque.

Cuenta única (punto de entrada) →

Amenazas que atiende

  • Prompt injection que fabrica parámetros maliciosos para herramientas.
  • Datos sensibles expuestos a través de las salidas de herramientas.

Servicios AWS

Amazon Bedrock Guardrails Amazon Bedrock AgentCore Gateway

Mapeos de frameworks

OWASP GenAI/LLM Top 10 (2026)

  • LLM01 Prompt Injection
  • LLM03 Excessive Agency

NIST AI Risk Management Framework (AI 100-1)

  • MEASURE.2 AI systems are evaluated for trustworthy characteristics
  • MANAGE.1 AI risks are prioritized, responded to and managed

AWS Well-Architected Generative AI Lens (Security)

  • GENSEC02-BP01 Implement guardrails to mitigate harmful or incorrect model responses

OWASP GenAI Top 10 for Agentic Applications (2025)

  • ASI01 Agent Goal Hijack
  • ASI02 Tool Misuse and Exploitation

Recursos de aprendizaje

Referencias

  • AWS SRA para IA — Capacidad 4, Protección de datos