c2.9 Monitorea los modelos personalizados por deriva y sesgo
Vigila continuamente los modelos personalizados en producción por deriva, sesgo y degradación de desempeño que podrían indicar compromiso o pérdida de calidad.
Guía de implementación
Cómo implementarlo en AWS
Usa Amazon SageMaker Model Monitor y SageMaker Clarify para rastrear la deriva de datos/calidad y el sesgo en los modelos personalizados, con métricas y alarmas de CloudWatch ante desviaciones de la línea base. Reevalúa cuando se detecte deriva significativa.
Criterios de aceptación
Model Monitor/Clarify corren sobre los modelos personalizados; existen líneas base y alarmas; la deriva dispara una reevaluación.
Implementación práctica
Cómo se implementa este control en cada arquitectura de referencia:
SageMaker Model Monitor y Clarify vigilan los modelos personalizados en la cuenta de IA generativa por deriva y sesgo, alarmando ante desviaciones y disparando reevaluación.
- Habilita SageMaker Model Monitor y Clarify sobre el modelo personalizado en la cuenta de IA generativa para rastrear deriva de datos/calidad y sesgo.Cuenta de IA generativa
Amazon SageMaker - Define líneas base y alarmas de CloudWatch ante desviaciones, y enruta las alarmas al flujo de respuesta.Cuenta de IA generativa
CloudWatch - Ante deriva significativa, dispara la reevaluación (enlaza de vuelta a la puerta de evaluación de modelos) antes de seguir sirviendo.Cuenta de IA generativa Amazon SageMaker
Amazon Bedrock
Cómo validar: Model Monitor/Clarify corren sobre el modelo personalizado; existen líneas base y alarmas; un evento de deriva dispara la reevaluación.
Evita: Desplegar un modelo personalizado y no vigilarlo más. La deriva y el sesgo emergente pueden señalar envenenamiento o pérdida de calidad; monitorea y reevalúa.
Model Monitor y Clarify corren en la cuenta sobre el modelo personalizado, con líneas base, alarmas y un disparador de reevaluación ante deriva.
- Activa SageMaker Model Monitor y Clarify para el modelo personalizado para rastrear deriva y sesgo.Capa de IA generativa (rol IAM) Amazon SageMaker
- Define líneas base y alarmas de CloudWatch ante desviaciones.Registro en la cuenta CloudWatch
- Reevalúa el modelo cuando se detecte deriva significativa.Capa de IA generativa (rol IAM) Amazon SageMaker Amazon Bedrock
Cómo validar: El monitoreo corre sobre el modelo personalizado; existen líneas base/alarmas; la deriva dispara reevaluación.
Evita: Tratar un modelo personalizado como estático. Vigila la deriva y el sesgo continuamente y reevalúa cuando aparezcan.
Amenazas que atiende
- Deriva o sesgo del modelo no detectados que emergen tras el despliegue.
- Degradación que podría señalar envenenamiento o compromiso.
Servicios AWS
Amazon SageMaker Model Monitor Amazon SageMaker Clarify Amazon CloudWatch Mapeos de frameworks
OWASP GenAI/LLM Top 10 (2026)
- LLM05 Data and Model Poisoning
- LLM07 Misinformation
NIST AI Risk Management Framework (AI 100-1)
- MEASURE.2 AI systems are evaluated for trustworthy characteristics
- MEASURE.3 Mechanisms for tracking AI risks are in place
- MANAGE.4 Risk treatments, monitoring and response are documented and applied
AWS Security Hub — AI Security Best Practices
- SageMaker.13 SageMaker model quality job definitions should have inter-container traffic encryption enabled
- SageMaker.15 SageMaker model bias job definitions should have inter-container traffic encryption enabled
- SageMaker.25 SageMaker model quality job definitions should have network isolation enabled
AWS Well-Architected Generative AI Lens (Security)
- GENSEC03-BP01 Implement control plane and data access monitoring
Recursos de aprendizaje
Referencias
- AWS SRA para IA — Capacidad 1, Evaluación y validación de modelos