c1.12 Avalie os modelos e monitore a deriva
Avalie os modelos de fundação contra seus requisitos de segurança e qualidade antes da produção, e monitore continuamente a deriva ou degradação adversarial depois.
Guia de implementação
Como implementar na AWS
Use a avaliação de modelos do Amazon Bedrock com datasets que incluam exemplos adversariais e de jailbreak; analise o viés com o SageMaker Clarify. Documente resultados e aprovações antes da produção, e então monitore as métricas de invocação e de guardrail com o CloudWatch para detectar deriva.
Critérios de aceitação
Uma avaliação de modelo documentada (incluindo testes adversariais) precede a produção; as métricas de deriva/guardrail são monitoradas com alarmes.
Implementação prática
Como este controle é implementado em cada arquitetura de referência:
A avaliação de modelos roda em uma conta não produtiva da OU com datasets adversariais; uma aprovação documentada habilita a promoção para a conta de inferência, e então o CloudWatch vigia a deriva.
- Execute a avaliação de modelos do Amazon Bedrock em uma conta de desenvolvimento da OU de IA generativa usando datasets que incluam exemplos adversariais e de jailbreak; analise o viés com o SageMaker Clarify.OU de IA generativa (conta de desenvolvimento)
Amazon Bedrock 
Amazon SageMaker - Registre os resultados e uma aprovação documentada como a comporta para promover o modelo/config para a conta de inferência (IA generativa).Conta de IA generativa Amazon Bedrock
- Após a promoção, monitore métricas de invocação, de intervenção do guardrail e de qualidade no CloudWatch e alarme em deriva da linha de base.Conta de IA generativa
CloudWatch
Como validar: Uma avaliação documentada com testes adversariais precede a produção; a aprovação é registrada antes da promoção; as métricas de deriva/guardrail têm alarmes.
Evite: Avaliar um modelo uma vez e nunca mais. O comportamento e as ameaças mudam; conserve os datasets de avaliação e re-execute em mudanças de modelo ou config, e monitore a deriva.
Avalie antes da produção e monitore a deriva dentro da única conta, usando um estágio de pré-produção e datasets de teste adversariais.
- Execute a avaliação de modelos do Bedrock com datasets adversariais/de jailbreak contra uma configuração de pré-produção; analise o viés com o SageMaker Clarify.Camada de IA generativa (papel IAM) Amazon Bedrock Amazon SageMaker
- Documente os resultados e exija uma aprovação antes de passar a configuração para uso produtivo.Camada de aplicação (papel IAM) Amazon Bedrock
- Monitore métricas de invocação, guardrail e qualidade no CloudWatch e alarme em deriva.Registro na conta CloudWatch
Como validar: Uma avaliação documentada, com casos adversariais, precede a produção; as métricas de deriva e guardrail estão alarmadas.
Evite: Ir para produção apenas com os benchmarks do fornecedor. Teste contra seus próprios casos adversariais e continue vigiando a deriva após o lançamento.
Ameaças atendidas
- Implantar um modelo que não atende requisitos de segurança, viés ou robustez.
- Degradação do comportamento do modelo não detectada ao longo do tempo.
Serviços AWS
Amazon Bedrock model evaluation Amazon SageMaker Clarify Amazon CloudWatch Mapeamentos de frameworks
OWASP GenAI/LLM Top 10 (2026)
- LLM05 Data and Model Poisoning
- LLM07 Misinformation
NIST AI Risk Management Framework (AI 100-1)
- MEASURE.1 Appropriate methods and metrics are identified and applied
- MEASURE.2 AI systems are evaluated for trustworthy characteristics
AWS Well-Architected Generative AI Lens (Security)
- GENSEC02-BP01 Implement guardrails to mitigate harmful or incorrect model responses
Recursos de aprendizado
Referências
- AWS SRA para IA — Capacidade 1, Avaliação e validação de modelos