A solução de referência Agentic Data Ingestion, da AWS, usa modelos do Amazon Bedrock para sugerir mapeamentos de campos e gerar transformações; o AWS Glue testa e executa os jobs, enquanto o Step Functions coordena as etapas e as aprovações humanas. Cada arquivo enviado ao S3 inicia uma execução própria. Fontes JDBC — conexões usadas para acessar bancos de dados — podem ser processadas sob demanda ou em uma programação definida. A AWS descreve esse fluxo de referência.

Na prática, o exemplo atende à ingestão acionada por arquivos e a cargas de banco sob demanda ou agendadas. Não é o fluxo contínuo de dados que uma arquitetura de streaming exige. Para cargas incrementais via JDBC, a solução seleciona registros posteriores à execução anterior usando uma marca d’água, como uma data e hora ou um valor numérico.

Antes de adotar a arquitetura, confira três pontos: como os dados chegam, onde uma pessoa precisa aprovar o trabalho e qual configuração de modelo a região de implantação permite.

Entradas, testes e destinos

A solução aceita arquivos CSV, TSV, delimitados por barra vertical, JSON, Parquet, Avro, ORC e Excel .xlsx; cada execução de uma planilha processa uma aba. Para bancos, usa conexões JDBC com PostgreSQL, Amazon Aurora, MySQL, MariaDB, Oracle e SQL Server.

OrigemCadênciaBase do teste
Arquivos no S3Cada upload inicia uma execuçãoTransformação testada no Glue com 100 linhas de amostra e a mesma versão do Spark do job
Bancos JDBCSob demanda ou em programação definida; cargas incrementais usam uma marca d’águaLinhas geradas a partir do esquema, porque a sessão de teste não acessa o banco

A diferença entre as duas bases de teste importa: no caminho JDBC, a validação não usa registros reais do banco. Para arquivos, o teste verifica contagem de registros, valores nulos e conformidade com o esquema. Em ambos os casos, o teste precede a execução do job.

Os destinos incluem tabelas Apache Iceberg no S3 Tables, bancos relacionais acessados por JDBC — entre eles, o RDS — e arquivos Parquet particionados em um bucket do S3. No S3 Tables, a solução permite acrescentar dados, sobrescrever a tabela ou mesclar registros.

As dez etapas e os pontos de aprovação

O Step Functions coordena a sequência de trabalho:

  1. Validar o arquivo.
  2. Extrair o esquema, isto é, a estrutura e os campos dos dados.
  3. Comparar o esquema recebido com o esperado.
  4. Mapear os campos correspondentes.
  5. Gerar o código de transformação.
  6. Testar o código.
  7. Preparar a infraestrutura do destino.
  8. Criar o job no AWS Glue.
  9. Registrar as verificações de qualidade.
  10. Executar a canalização ETL, que extrai, transforma e carrega os dados.

Há pontos de aprovação humana depois do mapeamento e do teste de código. A revisão do mapeamento pode ser pulada apenas quando cada correspondência tiver alta confiança e também for confirmada por uma correspondência de nomes; mapeamentos reutilizados ficam sujeitos à revisão por padrão. Se o fluxo não conseguir determinar se a revisão é necessária, a etapa falha em vez de avançar sem essa decisão. Uma aprovação pendente expira após 72 horas, e o fluxo registra a identidade de quem revisou.

O modelo não escreve o job inteiro. Modelos Jinja2, revisados para cada tipo de destino, fornecem a estrutura determinística do script; nos exemplos da AWS, a transformação gerada costuma ocupar de 5 a 15 linhas. A solução verifica esse trecho por uma lista de permissões e valida os parâmetros obrigatórios do script antes de criar o job.

Para algumas falhas de esquema, tipos de dados ou falta de memória, um agente pode iniciar uma nova execução. Ele não tenta novamente se o job com falha talvez já tenha gravado dados ou se a causa não puder ser resolvida por uma nova tentativa, como uma permissão ausente.

O que preparar para a implantação

O exemplo exige permissões da conta AWS na região escolhida e em us-east-1, acesso ao Claude Sonnet 4.6, Node.js 20 ou superior, Python 3.12 ou superior, AWS CLI e Docker. Também requer capacidade para criar uma imagem ARM64 ou usar QEMU, cerca de 100 GB de espaço livre e um aplicativo autenticador. A implantação cria oito pilhas do CloudFormation.

O primeiro uso do modelo precisa de uma configuração única na conta, feita com as credenciais de quem implanta. Se essa etapa for pulada, a implantação pode terminar, mas as etapas de IA falham com AccessDeniedException.

A configuração de exemplo usa o perfil de inferência entre regiões us.anthropic.claude-sonnet-4-6, que a AWS descreve como disponível apenas a partir de regiões AWS dos Estados Unidos. Para implantar fora dos EUA, é necessário alterar o ID do modelo. A AWS testou a solução em us-west-2; a pilha WAF é implantada em us-east-1 para o CloudFront.

A amostra testa o código gerado em isolamento, com uma função de leitura, e usa funções IAM separadas para os jobs e os ambientes dos agentes, além de limites de permissões. Os dados são criptografados em trânsito e em repouso; credenciais JDBC são referenciadas por ARN do Secrets Manager. O login pelo Cognito exige MFA por padrão. No painel, porém, usuários autenticados têm acesso completo: federação de identidade e permissões baseadas em função não fazem parte da amostra e são apontadas como trabalho de reforço para produção.

Na limpeza, pipelines e recursos criados durante a execução — como dados, tabelas, segredos, bancos, recursos IAM e pilhas — podem precisar ser removidos. A pilha de bootstrap do CDK permanece, a menos que seja excluída separadamente.

Como interpretar os custos estimados pela AWS

A AWS estimou os valores abaixo com preços públicos e uma implantação de teste em us-west-2, usando arquivos de amostra com sete ou oito colunas. São estimativas para esse cenário, não um preço geral de implantação.

ItemEstimativa da AWSUnidade e condição
Execução de amostraUS$ 0,10–0,25Por execução de pequena escala
Chamadas ao modelo BedrockUS$ 0,05–0,14Por execução
Teste em sessão interativa do GlueUS$ 0,01–0,02Por tentativa, com dois workers G.1X
Job do GlueCerca de US$ 0,02Por execução
AgentCore Runtime, Step Functions, DynamoDB, S3 e CloudWatchMenos de US$ 0,05Em conjunto, por execução
Implantação ociosaUS$ 15–20Por mês

A estimativa mensal de implantação ociosa inclui cerca de US$ 14 para duas ACLs e regras do WAF, até US$ 5 para monitoramento do CloudWatch — conforme o uso da camada gratuita — e aproximadamente US$ 1 para armazenamento e um segredo. A AWS não mediu esses custos para fontes mais amplas que as amostras usadas no teste.