c1.9 Valide as saídas do modelo antes de usá-las a jusante
Nunca passe a saída bruta do modelo a sistemas ou usuários sem verificar; valide e fundamente as respostas para reduzir que o conteúdo alucinado ou malicioso surta efeito.
Guia de implementação
Como implementar na AWS
Use a fundamentação contextual do Bedrock Guardrails e, onde aplicável, as verificações de Automated Reasoning para verificar as respostas contra fontes aprovadas. Remova metadados internos/conteúdo do system prompt das respostas e valide a estrutura da saída antes do consumo a jusante.
Critérios de aceitação
As saídas são fundamentadas/validadas antes de usar; uma resposta fabricada é capturada; as respostas não contêm metadados internos do sistema.
Implementação prática
Como este controle é implementado em cada arquitetura de referência:
A fundamentação e a validação de saídas rodam na conta de IA generativa antes de devolver a resposta à conta de aplicação para uso a jusante.
- Habilite a fundamentação contextual do Bedrock Guardrails (e as verificações de Automated Reasoning onde aplicável) para verificar as respostas contra fontes aprovadas na conta de IA generativa.Conta de IA generativa
Amazon Bedrock - Remova metadados internos e conteúdo do system prompt das respostas, e valide a estrutura da saída (esquema/tipo) com um passo Lambda antes de devolvê-la à conta de aplicação.Conta de IA generativa → Conta de aplicação
AWS Lambda - Na conta de aplicação, trate a saída do modelo como não confiável: nunca a passe diretamente a um shell, consulta ou ação privilegiada sem validação, e valide o esquema de requisição/resposta no API Gateway.Conta de aplicação AWS Lambda
API Gateway
Como validar: Uma resposta fabricada (sem fundamento) é capturada; as respostas não carregam metadados internos do sistema; as ações a jusante rodam apenas sobre saída validada.
Evite: Alimentar saída bruta do modelo direto a uma consulta de banco de dados ou automação. Fundamente-a, valide sua forma e trate-a como entrada não confiável.
A camada de IA generativa fundamenta e valida a saída antes que a camada de aplicação a consuma — a saída do modelo nunca é confiada às cegas.
- Ative as verificações de fundamentação contextual (e Automated Reasoning onde aplicável) no guardrail da camada de IA generativa.Camada de IA generativa (papel IAM) Amazon Bedrock
- Adicione um passo de validação (Lambda) que remova conteúdo interno/do sistema e verifique a estrutura da saída antes de a camada de aplicação usá-la.Camada de aplicação (papel IAM) AWS Lambda
- Garanta que qualquer ação a jusante (consulta, chamada de ferramenta) rode apenas sobre saída validada e verificada por esquema, com o esquema de requisição/resposta imposto no API Gateway.Camada de aplicação (papel IAM) AWS Lambda API Gateway
Como validar: Uma resposta sem fundamento é sinalizada; as respostas não contêm metadados internos; o uso a jusante consome apenas saída validada.
Evite: Renderizar ou executar a saída do modelo como está. Valide a estrutura e fundamente o conteúdo primeiro, especialmente antes de qualquer ação automatizada.
Ameaças atendidas
- Saídas não validadas que disparam ações automatizadas errôneas.
- Desinformação ou saída mal tratada que chega a usuários ou sistemas.
Serviços AWS
Amazon Bedrock Guardrails Amazon API Gateway Mapeamentos de frameworks
OWASP GenAI/LLM Top 10 (2026)
- LLM07 Misinformation
- LLM10 Improper Output Handling
NIST AI Risk Management Framework (AI 100-1)
- MEASURE.2 AI systems are evaluated for trustworthy characteristics
- MANAGE.1 AI risks are prioritized, responded to and managed
AWS Well-Architected Generative AI Lens (Security)
- GENSEC02-BP01 Implement guardrails to mitigate harmful or incorrect model responses
Recursos de aprendizado
Referências
- AWS AI Security Framework — validação de saídas