c3.9 Fundamenta y valida las respuestas contra las fuentes recuperadas
Verifica que las respuestas generadas estén fundamentadas en la base de conocimiento aprobada y valida la salida antes de usarla, para que las alucinaciones o el contenido inyectado no lleguen a los usuarios o sistemas aguas abajo.
Guía de implementación
Cómo implementarlo en AWS
Habilita la fundamentación contextual de Bedrock Guardrails para verificar que las respuestas sean semánticamente consistentes con las fuentes recuperadas y aprobadas, y valida/redacta la salida antes de su uso aguas abajo. Trata el contenido recuperado como entrada no confiable y reaplica el filtrado de entrada.
Criterios de aceptación
Las respuestas se verifican por fundamentación contra las fuentes recuperadas; una respuesta fabricada o fuera de fuente se detecta; el contexto recuperado se trata como no confiable.
Implementación práctica
Cómo se implementa este control en cada arquitectura de referencia:
La fundamentación contextual en la cuenta de IA generativa verifica cada respuesta contra las fuentes recuperadas y sancionadas, y el contexto recuperado se refiltra como entrada no confiable.
- Habilita la fundamentación contextual de Bedrock Guardrails para que las respuestas se verifiquen por consistencia semántica con las fuentes recuperadas y aprobadas.
- Trata el contexto recuperado como no confiable: reaplica el filtrado de entrada antes de que llegue al modelo, ya que un documento envenenado podría cargar instrucciones inyectadas.
- Valida/redacta la salida final antes de devolverla a la cuenta de aplicación para su uso aguas abajo.
Cómo validar: Las respuestas se verifican por fundamentación contra las fuentes recuperadas; una respuesta fabricada o fuera de fuente se detecta; las instrucciones inyectadas en el contexto recuperado se filtran.
Evita: Confiar en los documentos recuperados porque vinieron de 'tu' base de conocimiento. Un documento envenenado es entrada no confiable; refiltra y fundamenta la respuesta.
Las verificaciones de fundamentación y el refiltrado del contexto recuperado en la capa de IA generativa evitan que el contenido alucinado o inyectado llegue a los usuarios.
- Habilita las verificaciones de fundamentación contextual para que las respuestas deban ser consistentes con las fuentes recuperadas y aprobadas.
- Reaplica el filtrado de entrada al contexto recuperado antes de que llegue al modelo.
- Valida/redacta la salida antes de que la capa de aplicación la use.
Cómo validar: Las respuestas se verifican por fundamentación; una respuesta fuera de fuente se detecta; el contexto recuperado se trata como no confiable.
Evita: Devolver lo que diga el modelo por encima del texto recuperado. Fundamenta la respuesta y trata el contenido recuperado como no confiable, especialmente ante injection indirecta.
Amenazas que atiende
- Respuestas fabricadas o no derivables de las fuentes aprobadas.
- Contenido inyectado en el contexto recuperado que influye en la respuesta.
Servicios AWS
Mapeos de frameworks
OWASP GenAI/LLM Top 10 (2026)
- LLM07 Misinformation
- LLM08 Hidden Context Exposure
- LLM10 Improper Output Handling
NIST AI Risk Management Framework (AI 100-1)
- MEASURE.2 AI systems are evaluated for trustworthy characteristics
- MANAGE.1 AI risks are prioritized, responded to and managed
AWS Well-Architected Generative AI Lens (Security)
- GENSEC02-BP01 Implement guardrails to mitigate harmful or incorrect model responses
Recursos de aprendizaje
Referencias
- AWS SRA para IA — Capacidad 3, Validación de entradas y salidas
AI Security Maturity Model