c2.9 Monitore os modelos personalizados por deriva e viés
Monitore continuamente os modelos personalizados em produção por deriva, viés e degradação de desempenho que possam indicar comprometimento ou perda de qualidade.
Guia de implementação
Como implementar na AWS
Use o Amazon SageMaker Model Monitor e o SageMaker Clarify para rastrear a deriva de dados/qualidade e o viés nos modelos personalizados, com métricas e alarmes do CloudWatch para desvios das linhas de base. Reavalie quando uma deriva significativa for detectada.
Critérios de aceitação
O Model Monitor/Clarify rodam sobre os modelos personalizados; existem linhas de base e alarmes; a deriva dispara uma reavaliação.
Implementação prática
Como este controle é implementado em cada arquitetura de referência:
O SageMaker Model Monitor e o Clarify vigiam os modelos personalizados na conta de IA generativa por deriva e viés, alarmando em desvios e disparando reavaliação.
- Habilite o SageMaker Model Monitor e o Clarify sobre o modelo personalizado na conta de IA generativa para rastrear deriva de dados/qualidade e viés.Conta de IA generativa
Amazon SageMaker - Defina linhas de base e alarmes do CloudWatch em desvios, e roteie os alarmes ao fluxo de resposta.Conta de IA generativa
CloudWatch - Em deriva significativa, dispare a reavaliação (ligue de volta ao portão de avaliação de modelos) antes de continuar servindo.Conta de IA generativa Amazon SageMaker
Amazon Bedrock
Como validar: O Model Monitor/Clarify rodam sobre o modelo personalizado; existem linhas de base e alarmes; um evento de deriva dispara a reavaliação.
Evite: Implantar um modelo personalizado e nunca mais vigiá-lo. A deriva e o viés emergente podem sinalizar envenenamento ou perda de qualidade; monitore e reavalie.
O Model Monitor e o Clarify rodam na conta sobre o modelo personalizado, com linhas de base, alarmes e um gatilho de reavaliação em deriva.
- Ative o SageMaker Model Monitor e o Clarify para o modelo personalizado para rastrear deriva e viés.Camada de IA generativa (papel IAM) Amazon SageMaker
- Defina linhas de base e alarmes do CloudWatch em desvios.Registro na conta CloudWatch
- Reavalie o modelo quando uma deriva significativa for detectada.Camada de IA generativa (papel IAM) Amazon SageMaker Amazon Bedrock
Como validar: O monitoramento roda sobre o modelo personalizado; existem linhas de base/alarmes; a deriva dispara reavaliação.
Evite: Tratar um modelo personalizado como estático. Vigie a deriva e o viés continuamente e reavalie quando aparecerem.
Ameaças atendidas
- Deriva ou viés do modelo não detectados que surgem após a implantação.
- Degradação que pode sinalizar envenenamento ou comprometimento.
Serviços AWS
Amazon SageMaker Model Monitor Amazon SageMaker Clarify Amazon CloudWatch Mapeamentos de frameworks
OWASP GenAI/LLM Top 10 (2026)
- LLM05 Data and Model Poisoning
- LLM07 Misinformation
NIST AI Risk Management Framework (AI 100-1)
- MEASURE.2 AI systems are evaluated for trustworthy characteristics
- MEASURE.3 Mechanisms for tracking AI risks are in place
- MANAGE.4 Risk treatments, monitoring and response are documented and applied
AWS Security Hub — AI Security Best Practices
- SageMaker.13 SageMaker model quality job definitions should have inter-container traffic encryption enabled
- SageMaker.15 SageMaker model bias job definitions should have inter-container traffic encryption enabled
- SageMaker.25 SageMaker model quality job definitions should have network isolation enabled
AWS Well-Architected Generative AI Lens (Security)
- GENSEC03-BP01 Implement control plane and data access monitoring
Recursos de aprendizado
Referências
- AWS SRA para IA — Capacidade 1, Avaliação e validação de modelos