AI Security Maturity Model·AWS v1.0.0

Arraste para explorar · faça pinça para ampliar
Início / Matriz / Capacidade 5 / c5.10
Avançada Segurança da aplicação de IACamada de defesa em profundidade: Aplicação de IA Capacidade 5 · Agentes de IA generativaCaso de uso: IA que age 👤 ClienteModelo de Responsabilidade Compartilhada da AWS: quem implementa e opera este controle. Cliente = é seu; AWS = a AWS opera e você o herda; Compartilhada = ambos têm obrigações.

c5.10 Teste e revise os agentes de forma adversarial

Teste continuamente os agentes contra ataques de prompt e revise seu design e código, para encontrar as fraquezas antes que os atacantes as explorem.

Fundacional
Aprimorada
Avançada
Esforço: Alto Impacto: Médio Scopes de IA generativaDa AWS Generative AI Security Scoping Matrix.: 3 · Modelos pré-treinados; 4 · Modelos ajustados (fine-tuned) Dimensões de segurança agênticaDa AWS Agentic AI Security Scoping Matrix.: Guardrails e monitoramento

Guia de implementação

Como implementar na AWS

Use o AWS Security Agent para revisar a arquitetura e os pull requests e para executar cenários de testes de penetração sob demanda. Use o AgentCore Evaluations para avaliar a qualidade do agente online e sob demanda, e execute suítes de testes adversariais/jailbreak antes e depois da implantação.

Critérios de aceitação

Os agentes passam por testes adversariais e revisão de segurança antes do lançamento; o AgentCore Evaluations roda de forma contínua; os achados são remediados.

Implementação prática

Como este controle é implementado em cada arquitetura de referência:

Os agentes são testados de forma adversarial e revisados em uma conta não produtiva da OU antes de promovê-los, com o AgentCore Evaluations rodando de forma contínua na conta de IA generativa.

  1. Use o AWS Security Agent para revisar a arquitetura e os pull requests e executar cenários de testes de penetração sob demanda em uma conta de desenvolvimento da OU.
    OU de IA generativa (conta de desenvolvimento) AWS Security Agent
  2. Execute o AgentCore Evaluations mais suítes de testes adversariais/jailbreak antes de promover, e registre os resultados como comporta para a produção.
    OU de IA generativa (conta de desenvolvimento) → Conta de IA generativa AgentCore Evaluations
  3. Emparelhe cada teste negativo (por exemplo um modelo não aprovado, uma ferramenta não aprovada ou a identidade de outro tenant) com um teste gêmeo positivo na mesma execução que prove que a chamada teria sucesso de outra forma. Exija que cada negação nomeie o controle esperado (política, guardrail ou IAM), para que um teste não possa passar pelo motivo errado.
    OU de IA generativa (conta de desenvolvimento) AgentCore Evaluations
  4. Continue o AgentCore Evaluations online em produção e remedie os achados.
    Conta de IA generativa AgentCore Evaluations CloudWatch

Como validar: Os agentes passam por testes adversariais e revisão de segurança antes do lançamento; o AgentCore Evaluations roda de forma contínua; os achados são remediados. Cada teste negativo tem um teste gêmeo positivo na mesma execução, e cada negação nomeia o controle esperado.

Evite: Lançar um agente após uma demo do caminho feliz. Os agentes enfrentam entrada adversarial; teste com suítes de jailbreak e revise antes e depois do lançamento.

OU de IA generativa (multi-conta) →

Testes adversariais, revisão de segurança e AgentCore Evaluations contínuas rodam contra uma configuração de pré-produção na conta antes de os agentes atenderem tráfego produtivo.

  1. Use o AWS Security Agent para revisar a arquitetura/PRs e executar cenários de pen-test sob demanda.
    Camada de IA generativa (papel IAM) AWS Security Agent
  2. Execute o AgentCore Evaluations e suítes adversariais/jailbreak antes de promover para uso produtivo.
    Camada de aplicação (papel IAM) AgentCore Evaluations
  3. Emparelhe cada teste negativo (por exemplo um modelo não aprovado, uma ferramenta não aprovada ou a identidade de outro tenant) com um teste gêmeo positivo na mesma execução que prove que a chamada teria sucesso de outra forma. Exija que cada negação nomeie o controle esperado (política, guardrail ou IAM), para que um teste não possa passar pelo motivo errado.
    Camada de aplicação (papel IAM) AgentCore Evaluations
  4. Mantenha o AgentCore Evaluations rodando online e remedie os achados.
    Registro na conta AgentCore Evaluations CloudWatch

Como validar: Os agentes passam por testes adversariais e revisão antes do lançamento; o AgentCore Evaluations roda de forma contínua; os achados são remediados. Cada teste negativo tem um teste gêmeo positivo na mesma execução, e cada negação nomeia o controle esperado.

Evite: Testar os agentes apenas com prompts esperados. Execute suítes adversariais e continue avaliando após o lançamento.

Conta única (ponto de entrada) →

Ameaças atendidas

  • Fraquezas de prompt injection ou manipulação de raciocínio não descobertas.
  • Regressões de segurança introduzidas conforme os agentes evoluem.

Serviços AWS

AWS Security Agent Amazon Bedrock AgentCore Evaluations

Mapeamentos de frameworks

OWASP GenAI/LLM Top 10 (2026)

  • LLM01 Prompt Injection
  • LLM03 Excessive Agency

NIST AI Risk Management Framework (AI 100-1)

  • MEASURE.1 Appropriate methods and metrics are identified and applied
  • MEASURE.2 AI systems are evaluated for trustworthy characteristics
  • MEASURE.4 Feedback about efficacy of measurement is gathered

AWS Well-Architected Generative AI Lens (Security)

  • GENSEC05-BP01 Implement least privilege and permission boundaries for agentic workflows

OWASP GenAI Top 10 for Agentic Applications (2025)

  • ASI10 Rogue Agents
  • ASI04 Agentic Supply Chain

Recursos de aprendizado

Referências

  • AWS SRA para IA — Capacidade 5, Segurança de aplicação