AI Security Maturity Model·AWS v1.0.0

Arraste para explorar · faça pinça para ampliar
Início / Matriz / Capacidade 4 / c4.5
Aprimorada Segurança da aplicação de IACamada de defesa em profundidade: Aplicação de IA Capacidade 4 · FerramentasCaso de uso: IA que age 👤 ClienteModelo de Responsabilidade Compartilhada da AWS: quem implementa e opera este controle. Cliente = é seu; AWS = a AWS opera e você o herda; Compartilhada = ambos têm obrigações.

c4.5 Filtre as entradas e saídas de ferramentas com o Guardrails

Valide os parâmetros que entram nas ferramentas e os dados que saem, para que a prompt injection não possa transformar as chamadas de ferramentas em ações maliciosas nem vazar dados sensíveis.

Fundacional
Aprimorada
Avançada
Esforço: Baixo Impacto: Alto Scopes de IA generativaDa AWS Generative AI Security Scoping Matrix.: 3 · Modelos pré-treinados; 4 · Modelos ajustados (fine-tuned) Dimensões de segurança agênticaDa AWS Agentic AI Security Scoping Matrix.: Guardrails e monitoramento

Guia de implementação

Como implementar na AWS

Aplique o Amazon Bedrock Guardrails às entradas e saídas de ferramentas em todos os padrões de integração, bloqueando parâmetros maliciosos, tópicos restritos e exposição de dados sensíveis antes que as ferramentas executem. Para integrações com o AgentCore Gateway, associe um policy engine em modo enforce ao gateway e adicione políticas de guardrail que proíbam uma solicitação quando a pontuação de um filtro de conteúdo ou de prompt attack ultrapassar o seu limite, de modo que ela seja bloqueada antes de chegar ao target. Os guardrails em políticas estão disponíveis apenas em algumas Regiões e as pontuações são probabilísticas, então ajuste os limites primeiro em modo log-only. Imponha o uso de guardrails na invocação direta do Amazon Bedrock com a chave de condição IAM bedrock:GuardrailIdentifier, para que uma chamada ao modelo sem o guardrail aprovado seja negada.

Critérios de aceitação

Os guardrails rodam sobre as entradas e saídas de ferramentas; uma tentativa de parâmetro malicioso é bloqueada; os dados sensíveis são redigidos das respostas de ferramentas. Uma invocação direta do modelo sem o guardrail aprovado é negada.

Implementação prática

Como este controle é implementado em cada arquitetura de referência:

Os guardrails validam os parâmetros que entram e os dados que saem das ferramentas na conta de IA generativa, para que um prompt injetado não possa transformar uma chamada em arma nem vazar dados por uma resposta.

  1. Aplique o Amazon Bedrock Guardrails às entradas e saídas de ferramentas em todos os padrões de integração, bloqueando parâmetros maliciosos e tópicos restritos antes que as ferramentas executem.
    Conta de IA generativa Amazon Bedrock
  2. Para integrações com o AgentCore Gateway, associe um policy engine em modo enforce ao gateway e adicione políticas de guardrail que proíbam uma solicitação quando a pontuação de um filtro de conteúdo ou de prompt attack ultrapassar o seu limite, para que as solicitações sinalizadas sejam bloqueadas antes de chegar à ferramenta. Os guardrails em políticas estão disponíveis apenas em algumas Regiões e as pontuações são probabilísticas, então ajuste os limites primeiro em modo log-only.
    Conta de IA generativa AgentCore Gateway
  3. Imponha o uso de guardrails, não apenas o configure. Anexe uma política de identidade IAM que negue bedrock:InvokeModel, bedrock:InvokeModelWithResponseStream, bedrock:Converse e bedrock:ConverseStream, a menos que a chave de condição bedrock:GuardrailIdentifier corresponda ao guardrail e à versão aprovados. Para aplicar um guardrail em várias OUs ou contas, use uma política do Amazon Bedrock no AWS Organizations que aponte para um guardrail versionado. Isso se aplica à invocação direta do Amazon Bedrock; mantenha o content guarding em modo comprehensive para que os chamadores não possam pular a avaliação com guard content tags.
    OU de IA generativa Amazon Bedrock IAM AWS Organizations
  4. Redija os dados sensíveis das saídas de ferramentas antes de voltarem ao modelo ou à conta de aplicação.
    Conta de IA generativa → Conta de aplicação Amazon Bedrock

Como validar: Os guardrails rodam sobre as entradas e saídas de ferramentas; uma tentativa de parâmetro malicioso é bloqueada; os dados sensíveis são redigidos de uma resposta de ferramenta. Uma invocação direta do modelo sem o guardrail aprovado é negada.

Evite: Proteger o prompt do chat mas não os parâmetros das ferramentas. A injection costuma mirar os argumentos da ferramenta; filtre tanto as entradas quanto as saídas de cada ferramenta.

OU de IA generativa (multi-conta) →

Os guardrails nas entradas e saídas de ferramentas na camada de IA generativa bloqueiam parâmetros maliciosos e redigem dados sensíveis das respostas.

  1. Aplique o Bedrock Guardrails às entradas e saídas de ferramentas para cada padrão de integração.
    Camada de IA generativa (papel IAM) Amazon Bedrock
  2. Para as ferramentas mediadas pelo gateway, associe um policy engine em modo enforce ao AgentCore Gateway e adicione políticas de guardrail que bloqueiem uma solicitação quando a pontuação de um filtro de conteúdo ou de prompt attack ultrapassar o seu limite, antes de ela chegar à ferramenta. Os guardrails em políticas estão disponíveis apenas em algumas Regiões e as pontuações são probabilísticas, então ajuste os limites primeiro em modo log-only.
    Camada de IA generativa (papel IAM) AgentCore Gateway
  3. Imponha o uso de guardrails, não apenas o configure. Anexe uma política de identidade IAM que negue bedrock:InvokeModel, bedrock:InvokeModelWithResponseStream, bedrock:Converse e bedrock:ConverseStream, a menos que a chave de condição bedrock:GuardrailIdentifier corresponda ao guardrail e à versão aprovados. Como alternativa ou complemento, configure a imposição de guardrail em nível de conta em cada Região que você usa. Isso se aplica à invocação direta do Amazon Bedrock. A chave de condição IAM sozinha não impede que um chamador pule a avaliação do prompt com guard content tags, então configure o content guarding em modo comprehensive na configuração de imposição em nível de conta. Não use uma role com essa condição para APIs que chamam modelos em seu nome, como RetrieveAndGenerate, InvokeAgent ou InvokeInlineAgent, porque algumas dessas chamadas internas não carregam guardrail e são negadas.
    Camada de IA generativa (papel IAM) Amazon Bedrock IAM
  4. Redija os dados sensíveis das saídas de ferramentas antes de a camada de aplicação usá-las.
    Camada de aplicação (papel IAM) Amazon Bedrock

Como validar: Os guardrails rodam sobre a E/S de ferramentas; um parâmetro malicioso é bloqueado; os dados sensíveis são redigidos das respostas. Uma invocação direta do modelo sem o guardrail aprovado é negada.

Evite: Confiar nos argumentos de ferramenta que o modelo produziu. Valide parâmetros e saídas para que a injection não possa transformar uma ferramenta em uma primitiva de ataque.

Conta única (ponto de entrada) →

Ameaças atendidas

  • Prompt injection fabricando parâmetros maliciosos para ferramentas.
  • Dados sensíveis expostos pelas saídas de ferramentas.

Serviços AWS

Amazon Bedrock Guardrails Amazon Bedrock AgentCore Gateway

Mapeamentos de frameworks

OWASP GenAI/LLM Top 10 (2026)

  • LLM01 Prompt Injection
  • LLM03 Excessive Agency

NIST AI Risk Management Framework (AI 100-1)

  • MEASURE.2 AI systems are evaluated for trustworthy characteristics
  • MANAGE.1 AI risks are prioritized, responded to and managed

AWS Well-Architected Generative AI Lens (Security)

  • GENSEC02-BP01 Implement guardrails to mitigate harmful or incorrect model responses

OWASP GenAI Top 10 for Agentic Applications (2025)

  • ASI01 Agent Goal Hijack
  • ASI02 Tool Misuse and Exploitation

Recursos de aprendizado

Referências

  • AWS SRA para IA — Capacidade 4, Proteção de dados