AI Security Maturity Model·AWS v1.0.0

Arrastra para explorar · pellizca para ampliar

Avanzada Seguridad de la aplicación de IACapa de defensa en profundidad: Aplicación de IA Capacidad 3 · Generación aumentada por recuperación (RAG)Caso de uso: IA que conecta 👤 ClienteModelo de Responsabilidad Compartida de AWS: quién implementa y opera este control. Cliente = es tuyo; AWS = lo opera AWS y tú lo heredas; Compartida = ambos tienen obligaciones.

c3.9 Fundamenta y valida las respuestas contra las fuentes recuperadas

Verifica que las respuestas generadas estén fundamentadas en la base de conocimiento aprobada y valida la salida antes de usarla, para que las alucinaciones o el contenido inyectado no lleguen a los usuarios o sistemas aguas abajo.

Fundacional
Mejorada
Avanzada
Esfuerzo: Medio Impacto: Alto Scopes de IA generativaDe la AWS Generative AI Security Scoping Matrix.: 3 · Modelos preentrenados; 4 · Modelos ajustados (fine-tuned)

Guía de implementación

Cómo implementarlo en AWS

Habilita la fundamentación contextual de Bedrock Guardrails para verificar que las respuestas sean semánticamente consistentes con las fuentes recuperadas y aprobadas, y valida/redacta la salida antes de su uso aguas abajo. Trata el contenido recuperado como entrada no confiable y reaplica el filtrado de entrada.

Criterios de aceptación

Las respuestas se verifican por fundamentación contra las fuentes recuperadas; una respuesta fabricada o fuera de fuente se detecta; el contexto recuperado se trata como no confiable.

Implementación práctica

Cómo se implementa este control en cada arquitectura de referencia:

La fundamentación contextual en la cuenta de IA generativa verifica cada respuesta contra las fuentes recuperadas y sancionadas, y el contexto recuperado se refiltra como entrada no confiable.

  1. Habilita la fundamentación contextual de Bedrock Guardrails para que las respuestas se verifiquen por consistencia semántica con las fuentes recuperadas y aprobadas.
    Cuenta de IA generativa Amazon Bedrock
  2. Trata el contexto recuperado como no confiable: reaplica el filtrado de entrada antes de que llegue al modelo, ya que un documento envenenado podría cargar instrucciones inyectadas.
    Cuenta de IA generativa Amazon Bedrock
  3. Valida/redacta la salida final antes de devolverla a la cuenta de aplicación para su uso aguas abajo.
    Cuenta de IA generativa → Cuenta de aplicación AWS Lambda

Cómo validar: Las respuestas se verifican por fundamentación contra las fuentes recuperadas; una respuesta fabricada o fuera de fuente se detecta; las instrucciones inyectadas en el contexto recuperado se filtran.

Evita: Confiar en los documentos recuperados porque vinieron de 'tu' base de conocimiento. Un documento envenenado es entrada no confiable; refiltra y fundamenta la respuesta.

OU de IA generativa (multi-cuenta) →

Las verificaciones de fundamentación y el refiltrado del contexto recuperado en la capa de IA generativa evitan que el contenido alucinado o inyectado llegue a los usuarios.

  1. Habilita las verificaciones de fundamentación contextual para que las respuestas deban ser consistentes con las fuentes recuperadas y aprobadas.
    Capa de IA generativa (rol IAM) Amazon Bedrock
  2. Reaplica el filtrado de entrada al contexto recuperado antes de que llegue al modelo.
    Capa de IA generativa (rol IAM) Amazon Bedrock
  3. Valida/redacta la salida antes de que la capa de aplicación la use.
    Capa de aplicación (rol IAM) AWS Lambda

Cómo validar: Las respuestas se verifican por fundamentación; una respuesta fuera de fuente se detecta; el contexto recuperado se trata como no confiable.

Evita: Devolver lo que diga el modelo por encima del texto recuperado. Fundamenta la respuesta y trata el contenido recuperado como no confiable, especialmente ante injection indirecta.

Cuenta única (punto de entrada) →

Amenazas que atiende

  • Respuestas fabricadas o no derivables de las fuentes aprobadas.
  • Contenido inyectado en el contexto recuperado que influye en la respuesta.

Servicios AWS

Amazon Bedrock Guardrails

Mapeos de frameworks

OWASP GenAI/LLM Top 10 (2026)

  • LLM07 Misinformation
  • LLM08 Hidden Context Exposure
  • LLM10 Improper Output Handling

NIST AI Risk Management Framework (AI 100-1)

  • MEASURE.2 AI systems are evaluated for trustworthy characteristics
  • MANAGE.1 AI risks are prioritized, responded to and managed

AWS Well-Architected Generative AI Lens (Security)

  • GENSEC02-BP01 Implement guardrails to mitigate harmful or incorrect model responses

Recursos de aprendizaje

Referencias

  • AWS SRA para IA — Capacidad 3, Validación de entradas y salidas