c5.5 Exige aprobación humana para acciones de alta consecuencia
Inserta un punto de control humano antes de que un agente realice operaciones sensibles, mutativas o destructivas, para que la autonomía quede acotada en las acciones que más importan.
Guía de implementación
Cómo implementarlo en AWS
Identifica las acciones de alta consecuencia y exige aprobación humana explícita antes de que el agente proceda (implementable con hooks en el framework del agente o un paso de aprobación vía Lambda/Step Functions). Combínalo con roles de mínimo privilegio y endurecimiento de instrucciones para que el modelo no pueda rodear el punto de control.
Acota la autonomía en el punto de consecuencia
Un agente que puede actuar por su cuenta es conveniente, hasta que borra datos de producción, mueve dinero o envía correos a clientes porque una inyección de prompt se lo indicó. La solución no es eliminar la autonomía en todas partes, sino insertar un punto de control con humano en el ciclo (human-in-the-loop) delante de las operaciones específicas que son sensibles, mutativas o destructivas. Todo lo demás sigue siendo autónomo; las acciones de alta consecuencia se pausan para una aprobación humana explícita.
Modela la aprobación como un flujo que pausa
El patrón de callback de AWS Step Functions (waitForTaskToken) es una forma limpia de implementarlo: el flujo llega al paso sensible, emite un token de tarea a un humano (correo, Slack, un ticket) y pausa —hasta un año— hasta que alguien aprueba o rechaza:
{
"ApproveHighRiskAction": {
"Type": "Task",
"Resource": "arn:aws:states:::lambda:invoke.waitForTaskToken",
"Parameters": {
"FunctionName": "notify-approver",
"Payload": {
"action.$": "$.proposedAction",
"taskToken.$": "$$.Task.Token"
}
},
"Next": "ExecuteAction",
"TimeoutSeconds": 86400
}
}
La decisión del aprobador reanuda el flujo:
# Aprobar
aws stepfunctions send-task-success \
--task-token "<token>" --task-output '{"approved":true}'
# Rechazar
aws stepfunctions send-task-failure \
--task-token "<token>" --error "Rejected" --cause "Not authorized by reviewer"
Decide qué necesita un humano
Enruta por el punto de control solo las acciones de alta consecuencia: borrados, transacciones financieras, cambios de permisos, comunicaciones externas, cualquier cosa irreversible. Deja que el agente clasifique una llamada de herramienta propuesta y ramifique: las acciones de bajo riesgo se ejecutan directamente; las de alto riesgo entran al estado de aprobación. Mantén la clasificación del lado del servidor, no algo que el modelo pueda sortear con palabras.
Falla en cerrado y registra la decisión
Si la aprobación expira, el flujo debe fallar en cerrado (no ejecutar), no continuar. Registra quién aprobó o rechazó, cuándo y la acción exacta: es a la vez tu rastro de auditoría y tu evidencia de que la autonomía se mantuvo acotada.
Nota de nomenclatura: fija TimeoutSeconds a una ventana que se ajuste a tus operaciones; al expirar, la acción no se realiza. Envía al aprobador suficiente contexto (la operación exacta y sus parámetros) para decidir con seguridad.Cómo encaja todo
Criterios de aceptación
Las acciones de alta consecuencia se pausan para aprobación humana documentada; las aprobaciones se registran; el agente no puede saltarse el punto de control.
Implementación práctica
Cómo se implementa este control en cada arquitectura de referencia:
Las acciones de alta consecuencia se pausan en un paso de aprobación de Step Functions en la cuenta de IA generativa; un humano debe aprobar antes de que el agente proceda, y el mínimo privilegio impide rodearlo.
- Identifica las acciones de alta consecuencia (sensibles, mutativas, destructivas) y exige aprobación humana explícita antes de que el agente de AgentCore Runtime proceda, implementado como un paso de aprobación de Step Functions o un hook del framework del agente de AgentCore.
- Enruta la solicitud de aprobación al humano responsable (p. ej. vía la UI de la cuenta de aplicación) y registra la decisión.
- Combínalo con roles de mínimo privilegio y endurecimiento de instrucciones para que el modelo no pueda saltarse el punto de control, y registra cada aprobación en el Log archive.
Cómo validar: Las acciones de alta consecuencia se pausan para aprobación humana documentada; las aprobaciones se registran de forma centralizada; el agente no puede ejecutar la acción controlada sin aprobación.
Evita: Autonomía total en acciones destructivas con solo un 'por favor confirma' a nivel de prompt. Impón el punto de control en el flujo de trabajo y en IAM, no en el prompt.
Un paso de aprobación con Step Functions/Lambda controla las acciones de alta consecuencia del agente en la cuenta, con el mínimo privilegio asegurando que el punto de control no pueda rodearse.
- Controla las acciones sensibles/mutativas/destructivas del agente de AgentCore Runtime tras un paso explícito de aprobación humana (Step Functions o un hook del agente de AgentCore).
- Presenta la aprobación a un humano y registra la decisión.
- Respáldalo con roles de mínimo privilegio e instrucciones endurecidas, y registra las aprobaciones.
Cómo validar: Las acciones de alta consecuencia se pausan para aprobación documentada; las aprobaciones se registran; el agente no puede saltarse el punto de control.
Evita: Dejar que el agente se autoapruebe acciones de alto impacto. Pon un humano en el bucle para las acciones que importan e imponlo estructuralmente.
Amenazas que atiende
- Un agente autónomo ejecutando una acción dañina sin supervisión.
- Daño en cascada por una decisión de alto impacto sin control.
Servicios AWS
Precios
Los Standard Workflows de Step Functions se facturan por transición de estado; un estado waitForTaskToken en pausa no genera cargo mientras espera. La notificación de aprobación (Lambda/SNS) tiene costos menores por uso. Es económico en relación con el riesgo que contiene. Consulta Wait for a callback with the task token.
Mapeos de frameworks
OWASP GenAI/LLM Top 10 (2026)
- LLM03 Excessive Agency
NIST AI Risk Management Framework (AI 100-1)
- GOVERN.5 Processes for stakeholder engagement and feedback
- MANAGE.2 Strategies to maximize benefits and minimize impacts are planned
- MANAGE.4 Risk treatments, monitoring and response are documented and applied
AWS Well-Architected Generative AI Lens (Security)
- GENSEC05-BP01 Implement least privilege and permission boundaries for agentic workflows
OWASP GenAI Top 10 for Agentic Applications (2025)
- ASI09 Human-Agent Trust Exploitation
Recursos de aprendizaje
Referencias
- AWS SRA para IA — Capacidad 5, Seguridad de aplicación
AI Security Maturity Model