c1.12 Evalúa los modelos y monitorea la deriva
Evalúa los modelos de fundación contra tus requisitos de seguridad y calidad antes de producción, y vigila continuamente la deriva o degradación adversaria después.
Guía de implementación
Cómo implementarlo en AWS
Usa la evaluación de modelos de Amazon Bedrock con datasets que incluyan ejemplos adversarios y de jailbreak; analiza el sesgo con SageMaker Clarify. Documenta resultados y aprobaciones antes de producción, y luego monitorea las métricas de invocación y de guardrail con CloudWatch para detectar deriva.
Criterios de aceptación
Una evaluación de modelo documentada (incluyendo pruebas adversarias) precede a producción; las métricas de deriva/guardrail se monitorean con alarmas.
Implementación práctica
Cómo se implementa este control en cada arquitectura de referencia:
La evaluación de modelos corre en una cuenta no productiva de la OU con datasets adversarios; una aprobación documentada habilita la promoción a la cuenta de inferencia, y luego CloudWatch vigila la deriva.
- Ejecuta la evaluación de modelos de Amazon Bedrock en una cuenta de desarrollo de la OU de IA generativa usando datasets que incluyan ejemplos adversarios y de jailbreak; analiza el sesgo con SageMaker Clarify.OU de IA generativa (cuenta de desarrollo)
Amazon Bedrock 
Amazon SageMaker - Registra los resultados y una aprobación documentada como la compuerta para promover el modelo/config a la cuenta de inferencia (IA generativa).Cuenta de IA generativa Amazon Bedrock
- Tras la promoción, monitorea métricas de invocación, de intervención del guardrail y de calidad en CloudWatch y alarma ante deriva de la línea base.Cuenta de IA generativa
CloudWatch
Cómo validar: Una evaluación documentada con pruebas adversarias precede a producción; la aprobación se registra antes de la promoción; las métricas de deriva/guardrail tienen alarmas.
Evita: Evaluar un modelo una vez y nunca más. El comportamiento y las amenazas cambian; conserva los datasets de evaluación y re-ejecuta ante cambios de modelo o config, y monitorea la deriva.
Evalúa antes de producción y monitorea la deriva dentro de la única cuenta, usando una etapa de preproducción y datasets de prueba adversarios.
- Ejecuta la evaluación de modelos de Bedrock con datasets adversarios/de jailbreak contra una configuración de preproducción; analiza el sesgo con SageMaker Clarify.Capa de IA generativa (rol IAM) Amazon Bedrock Amazon SageMaker
- Documenta los resultados y exige una aprobación antes de pasar la configuración a uso productivo.Capa de aplicación (rol IAM) Amazon Bedrock
- Monitorea métricas de invocación, guardrail y calidad en CloudWatch y alarma ante deriva.Registro en la cuenta CloudWatch
Cómo validar: Una evaluación documentada, con casos adversarios, precede a producción; las métricas de deriva y guardrail están alarmadas.
Evita: Ir a producción solo con los benchmarks del proveedor. Prueba contra tus propios casos adversarios y sigue vigilando la deriva tras el lanzamiento.
Amenazas que atiende
- Desplegar un modelo que no cumple requisitos de seguridad, sesgo o robustez.
- Degradación del comportamiento del modelo no detectada con el tiempo.
Servicios AWS
Amazon Bedrock model evaluation Amazon SageMaker Clarify Amazon CloudWatch Mapeos de frameworks
OWASP GenAI/LLM Top 10 (2026)
- LLM05 Data and Model Poisoning
- LLM07 Misinformation
NIST AI Risk Management Framework (AI 100-1)
- MEASURE.1 Appropriate methods and metrics are identified and applied
- MEASURE.2 AI systems are evaluated for trustworthy characteristics
AWS Well-Architected Generative AI Lens (Security)
- GENSEC02-BP01 Implement guardrails to mitigate harmful or incorrect model responses
Recursos de aprendizaje
Referencias
- AWS SRA para IA — Capacidad 1, Evaluación y validación de modelos