c1.9 Valida las salidas del modelo antes de usarlas aguas abajo
Nunca pases la salida cruda del modelo a sistemas o usuarios sin verificar; valida y fundamenta las respuestas para reducir que el contenido alucinado o malicioso surta efecto.
Guía de implementación
Cómo implementarlo en AWS
Usa la fundamentación contextual de Bedrock Guardrails y, donde aplique, las verificaciones de Automated Reasoning para verificar las respuestas contra fuentes aprobadas. Elimina metadatos internos/contenido del system prompt de las respuestas y valida la estructura de la salida antes de su consumo aguas abajo.
Criterios de aceptación
Las salidas se fundamentan/validan antes de usarse; una respuesta fabricada se detecta; las respuestas no contienen metadatos internos del sistema.
Implementación práctica
Cómo se implementa este control en cada arquitectura de referencia:
La fundamentación y la validación de salidas corren en la cuenta de IA generativa antes de devolver la respuesta a la cuenta de aplicación para su uso aguas abajo.
- Habilita la fundamentación contextual de Bedrock Guardrails (y las verificaciones de Automated Reasoning donde apliquen) para verificar las respuestas contra fuentes aprobadas en la cuenta de IA generativa.Cuenta de IA generativa
Amazon Bedrock - Elimina metadatos internos y contenido del system prompt de las respuestas, y valida la estructura de la salida (esquema/tipo) con un paso Lambda antes de devolverla a la cuenta de aplicación.Cuenta de IA generativa → Cuenta de aplicación
AWS Lambda - En la cuenta de aplicación, trata la salida del modelo como no confiable: nunca la pases directamente a un shell, consulta o acción privilegiada sin validación, y valida el esquema de petición/respuesta en API Gateway.Cuenta de aplicación AWS Lambda
API Gateway
Cómo validar: Una respuesta fabricada (sin fundamento) se detecta; las respuestas no llevan metadatos internos del sistema; las acciones aguas abajo corren solo sobre salida validada.
Evita: Alimentar salida cruda del modelo directo a una consulta de base de datos o automatización. Fundaméntala, valida su forma y trátala como entrada no confiable.
La capa de IA generativa fundamenta y valida la salida antes de que la capa de aplicación la consuma — la salida del modelo nunca se confía a ciegas.
- Activa las verificaciones de fundamentación contextual (y Automated Reasoning donde aplique) en el guardrail de la capa de IA generativa.Capa de IA generativa (rol IAM) Amazon Bedrock
- Agrega un paso de validación (Lambda) que elimine contenido interno/del sistema y verifique la estructura de la salida antes de que la capa de aplicación la use.Capa de aplicación (rol IAM) AWS Lambda
- Asegura que cualquier acción aguas abajo (consulta, llamada a herramienta) corra solo sobre salida validada y verificada por esquema, con el esquema de petición/respuesta impuesto en API Gateway.Capa de aplicación (rol IAM) AWS Lambda API Gateway
Cómo validar: Una respuesta sin fundamento se marca; las respuestas no contienen metadatos internos; el uso aguas abajo consume solo salida validada.
Evita: Renderizar o ejecutar la salida del modelo tal cual. Valida la estructura y fundamenta el contenido primero, especialmente antes de cualquier acción automatizada.
Amenazas que atiende
- Salidas sin validar que disparan acciones automatizadas erróneas.
- Desinformación o salida mal manejada que llega a usuarios o sistemas.
Servicios AWS
Amazon Bedrock Guardrails Amazon API Gateway Mapeos de frameworks
OWASP GenAI/LLM Top 10 (2026)
- LLM07 Misinformation
- LLM10 Improper Output Handling
NIST AI Risk Management Framework (AI 100-1)
- MEASURE.2 AI systems are evaluated for trustworthy characteristics
- MANAGE.1 AI risks are prioritized, responded to and managed
AWS Well-Architected Generative AI Lens (Security)
- GENSEC02-BP01 Implement guardrails to mitigate harmful or incorrect model responses
Recursos de aprendizaje
Referencias
- AWS AI Security Framework — validación de salidas