AI Security Maturity Model·AWS v1.0.0

Arrastra para explorar · pellizca para ampliar

Mejorada Seguridad de la aplicación de IACapa de defensa en profundidad: Aplicación de IA Capacidad 5 · Agentes de IA generativaCaso de uso: IA que actúa 👤 ClienteModelo de Responsabilidad Compartida de AWS: quién implementa y opera este control. Cliente = es tuyo; AWS = lo opera AWS y tú lo heredas; Compartida = ambos tienen obligaciones.

c5.5 Exige aprobación humana para acciones de alta consecuencia

Inserta un punto de control humano antes de que un agente realice operaciones sensibles, mutativas o destructivas, para que la autonomía quede acotada en las acciones que más importan.

Fundacional
Mejorada
Avanzada
Esfuerzo: Medio Impacto: Alto Scopes de IA generativaDe la AWS Generative AI Security Scoping Matrix.: 3 · Modelos preentrenados; 4 · Modelos ajustados (fine-tuned) Dimensiones de seguridad agénticaDe la AWS Agentic AI Security Scoping Matrix.: Límites operativos

Guía de implementación

Cómo implementarlo en AWS

Identifica las acciones de alta consecuencia y exige aprobación humana explícita antes de que el agente proceda (implementable con hooks en el framework del agente o un paso de aprobación vía Lambda/Step Functions). Combínalo con roles de mínimo privilegio y endurecimiento de instrucciones para que el modelo no pueda rodear el punto de control.

Acota la autonomía en el punto de consecuencia

Un agente que puede actuar por su cuenta es conveniente, hasta que borra datos de producción, mueve dinero o envía correos a clientes porque una inyección de prompt se lo indicó. La solución no es eliminar la autonomía en todas partes, sino insertar un punto de control con humano en el ciclo (human-in-the-loop) delante de las operaciones específicas que son sensibles, mutativas o destructivas. Todo lo demás sigue siendo autónomo; las acciones de alta consecuencia se pausan para una aprobación humana explícita.

Modela la aprobación como un flujo que pausa

El patrón de callback de AWS Step Functions (waitForTaskToken) es una forma limpia de implementarlo: el flujo llega al paso sensible, emite un token de tarea a un humano (correo, Slack, un ticket) y pausa —hasta un año— hasta que alguien aprueba o rechaza:

{
  "ApproveHighRiskAction": {
    "Type": "Task",
    "Resource": "arn:aws:states:::lambda:invoke.waitForTaskToken",
    "Parameters": {
      "FunctionName": "notify-approver",
      "Payload": {
        "action.$": "$.proposedAction",
        "taskToken.$": "$$.Task.Token"
      }
    },
    "Next": "ExecuteAction",
    "TimeoutSeconds": 86400
  }
}

La decisión del aprobador reanuda el flujo:

# Aprobar
aws stepfunctions send-task-success \
  --task-token "<token>" --task-output '{"approved":true}'

# Rechazar
aws stepfunctions send-task-failure \
  --task-token "<token>" --error "Rejected" --cause "Not authorized by reviewer"

Decide qué necesita un humano

Enruta por el punto de control solo las acciones de alta consecuencia: borrados, transacciones financieras, cambios de permisos, comunicaciones externas, cualquier cosa irreversible. Deja que el agente clasifique una llamada de herramienta propuesta y ramifique: las acciones de bajo riesgo se ejecutan directamente; las de alto riesgo entran al estado de aprobación. Mantén la clasificación del lado del servidor, no algo que el modelo pueda sortear con palabras.

Falla en cerrado y registra la decisión

Si la aprobación expira, el flujo debe fallar en cerrado (no ejecutar), no continuar. Registra quién aprobó o rechazó, cuándo y la acción exacta: es a la vez tu rastro de auditoría y tu evidencia de que la autonomía se mantuvo acotada.

Nota de nomenclatura: fija TimeoutSeconds a una ventana que se ajuste a tus operaciones; al expirar, la acción no se realiza. Envía al aprobador suficiente contexto (la operación exacta y sus parámetros) para decidir con seguridad.

Cómo encaja todo

Agent proposes action Classify risk (server-side) low risk Execute directly stays autonomous high risk Step Functions waitForTaskToken (paused) Human approve / reject approved → execute rejected / timeout → fail closed (no action)
El agente propone una acción y un clasificador del lado del servidor juzga su riesgo. Las acciones de bajo riesgo se ejecutan directamente y siguen siendo autónomas; las de alto riesgo se pausan en un callback waitForTaskToken de Step Functions hasta que un humano aprueba (ejecutar), rechaza o la solicitud expira (falla en cerrado — sin acción).

Criterios de aceptación

Las acciones de alta consecuencia se pausan para aprobación humana documentada; las aprobaciones se registran; el agente no puede saltarse el punto de control.

Implementación práctica

Cómo se implementa este control en cada arquitectura de referencia:

Las acciones de alta consecuencia se pausan en un paso de aprobación de Step Functions en la cuenta de IA generativa; un humano debe aprobar antes de que el agente proceda, y el mínimo privilegio impide rodearlo.

  1. Identifica las acciones de alta consecuencia (sensibles, mutativas, destructivas) y exige aprobación humana explícita antes de que el agente de AgentCore Runtime proceda, implementado como un paso de aprobación de Step Functions o un hook del framework del agente de AgentCore.
    Cuenta de IA generativa Bedrock AgentCore Step Functions AWS Lambda
  2. Enruta la solicitud de aprobación al humano responsable (p. ej. vía la UI de la cuenta de aplicación) y registra la decisión.
    Cuenta de aplicación AWS Lambda
  3. Combínalo con roles de mínimo privilegio y endurecimiento de instrucciones para que el modelo no pueda saltarse el punto de control, y registra cada aprobación en el Log archive.
    Cuenta de IA generativa → Log archive IAM CloudTrail

Cómo validar: Las acciones de alta consecuencia se pausan para aprobación humana documentada; las aprobaciones se registran de forma centralizada; el agente no puede ejecutar la acción controlada sin aprobación.

Evita: Autonomía total en acciones destructivas con solo un 'por favor confirma' a nivel de prompt. Impón el punto de control en el flujo de trabajo y en IAM, no en el prompt.

OU de IA generativa (multi-cuenta) →

Un paso de aprobación con Step Functions/Lambda controla las acciones de alta consecuencia del agente en la cuenta, con el mínimo privilegio asegurando que el punto de control no pueda rodearse.

  1. Controla las acciones sensibles/mutativas/destructivas del agente de AgentCore Runtime tras un paso explícito de aprobación humana (Step Functions o un hook del agente de AgentCore).
    Capa de IA generativa (rol IAM) Bedrock AgentCore Step Functions AWS Lambda
  2. Presenta la aprobación a un humano y registra la decisión.
    Capa de aplicación (rol IAM) AWS Lambda
  3. Respáldalo con roles de mínimo privilegio e instrucciones endurecidas, y registra las aprobaciones.
    Registro en la cuenta IAM CloudTrail

Cómo validar: Las acciones de alta consecuencia se pausan para aprobación documentada; las aprobaciones se registran; el agente no puede saltarse el punto de control.

Evita: Dejar que el agente se autoapruebe acciones de alto impacto. Pon un humano en el bucle para las acciones que importan e imponlo estructuralmente.

Cuenta única (punto de entrada) →

Amenazas que atiende

  • Un agente autónomo ejecutando una acción dañina sin supervisión.
  • Daño en cascada por una decisión de alto impacto sin control.

Servicios AWS

Amazon Bedrock AgentCore AWS Lambda AWS Step Functions

Precios

Los Standard Workflows de Step Functions se facturan por transición de estado; un estado waitForTaskToken en pausa no genera cargo mientras espera. La notificación de aprobación (Lambda/SNS) tiene costos menores por uso. Es económico en relación con el riesgo que contiene. Consulta Wait for a callback with the task token.

Mapeos de frameworks

OWASP GenAI/LLM Top 10 (2026)

  • LLM03 Excessive Agency

NIST AI Risk Management Framework (AI 100-1)

  • GOVERN.5 Processes for stakeholder engagement and feedback
  • MANAGE.2 Strategies to maximize benefits and minimize impacts are planned
  • MANAGE.4 Risk treatments, monitoring and response are documented and applied

AWS Well-Architected Generative AI Lens (Security)

  • GENSEC05-BP01 Implement least privilege and permission boundaries for agentic workflows

OWASP GenAI Top 10 for Agentic Applications (2025)

  • ASI09 Human-Agent Trust Exploitation

Recursos de aprendizaje

Referencias

  • AWS SRA para IA — Capacidad 5, Seguridad de aplicación