c2.5 Descubra dados sensíveis nos conjuntos de treinamento com o Macie

Encontre dados sensíveis antes que o modelo os memorize

Um modelo ajustado pode memorizar e, mais tarde, reproduzir fragmentos de seus dados de treinamento. Se esses dados contiverem PII, segredos ou conteúdo regulado, o modelo se torna um caminho de vazamento. O Amazon Macie usa ML gerenciado e correspondência de padrões para descobrir dados sensíveis no S3, para que você possa detectá-los e removê-los de um conjunto de treinamento antes da personalização — e não depois que o modelo já os aprendeu.

Escaneie o bucket de treinamento antes de um trabalho

Execute um trabalho único de descoberta de dados sensíveis contra o bucket que contém seus dados de treinamento:

aws macie2 create-classification-job \
  --name "scan-training-data-pre-finetune" \
  --job-type ONE_TIME \
  --s3-job-definition '{
    "bucketDefinitions": [
      {
        "accountId": "111122223333",
        "buckets": ["my-bedrock-training-data"]
      }
    ]
  }'

O Macie reporta achados por tipo de dado sensível (nomes, e-mails, credenciais, identificadores financeiros e de saúde, e identificadores de dados personalizados que você define com regex). Revise os achados e limpe ou tokenize os registros marcados antes de iniciar o trabalho de personalização.

Torne-o um portão, não algo pontual

• Conecte os achados do Macie ao EventBridge → SNS/Lambda para que um achado de alta severidade em um bucket de treinamento bloqueie ou sinalize o pipeline automaticamente.
• Para pipelines contínuos, use a descoberta automática de dados sensíveis (amostragem contínua) em vez de reexecutar trabalhos completos, o que é muito mais econômico em escala.
• Adicione identificadores de dados personalizados para segredos específicos da organização (formatos de ID internos, nomes de código de projetos) que os tipos integrados não detectam.

Combine com o guardrail

O Macie protege os dados que entram no modelo; o filtro de informação sensível do guardrail do Bedrock (consulte o controle de guardrails) protege os dados que saem na inferência. Use ambos: limpe o corpus de treinamento com o Macie e remova PII em runtime com o guardrail.

Nota de nomenclatura: substitua o id da conta e o nome do bucket. Comece com um trabalho ONE_TIME para medir o volume de achados e o custo antes de agendar escaneamentos recorrentes.