A solução de referência Agentic Data Ingestion, da AWS, usa modelos do Amazon Bedrock para sugerir mapeamentos de campos e gerar transformações; o AWS Glue testa e executa os jobs, enquanto o Step Functions coordena as etapas e as aprovações humanas. Cada arquivo enviado ao S3 inicia uma execução própria. Fontes JDBC — conexões usadas para acessar bancos de dados — podem ser processadas sob demanda ou em uma programação definida. A AWS descreve esse fluxo de referência.
Na prática, o exemplo atende à ingestão acionada por arquivos e a cargas de banco sob demanda ou agendadas. Não é o fluxo contínuo de dados que uma arquitetura de streaming exige. Para cargas incrementais via JDBC, a solução seleciona registros posteriores à execução anterior usando uma marca d’água, como uma data e hora ou um valor numérico.
Antes de adotar a arquitetura, confira três pontos: como os dados chegam, onde uma pessoa precisa aprovar o trabalho e qual configuração de modelo a região de implantação permite.
Entradas, testes e destinos
A solução aceita arquivos CSV, TSV, delimitados por barra vertical, JSON, Parquet, Avro, ORC e Excel .xlsx; cada execução de uma planilha processa uma aba. Para bancos, usa conexões JDBC com PostgreSQL, Amazon Aurora, MySQL, MariaDB, Oracle e SQL Server.
| Origem | Cadência | Base do teste |
| Arquivos no S3 | Cada upload inicia uma execução | Transformação testada no Glue com 100 linhas de amostra e a mesma versão do Spark do job |
| Bancos JDBC | Sob demanda ou em programação definida; cargas incrementais usam uma marca d’água | Linhas geradas a partir do esquema, porque a sessão de teste não acessa o banco |
A diferença entre as duas bases de teste importa: no caminho JDBC, a validação não usa registros reais do banco. Para arquivos, o teste verifica contagem de registros, valores nulos e conformidade com o esquema. Em ambos os casos, o teste precede a execução do job.
Os destinos incluem tabelas Apache Iceberg no S3 Tables, bancos relacionais acessados por JDBC — entre eles, o RDS — e arquivos Parquet particionados em um bucket do S3. No S3 Tables, a solução permite acrescentar dados, sobrescrever a tabela ou mesclar registros.
As dez etapas e os pontos de aprovação
O Step Functions coordena a sequência de trabalho:
- Validar o arquivo.
- Extrair o esquema, isto é, a estrutura e os campos dos dados.
- Comparar o esquema recebido com o esperado.
- Mapear os campos correspondentes.
- Gerar o código de transformação.
- Testar o código.
- Preparar a infraestrutura do destino.
- Criar o job no AWS Glue.
- Registrar as verificações de qualidade.
- Executar a canalização ETL, que extrai, transforma e carrega os dados.
Há pontos de aprovação humana depois do mapeamento e do teste de código. A revisão do mapeamento pode ser pulada apenas quando cada correspondência tiver alta confiança e também for confirmada por uma correspondência de nomes; mapeamentos reutilizados ficam sujeitos à revisão por padrão. Se o fluxo não conseguir determinar se a revisão é necessária, a etapa falha em vez de avançar sem essa decisão. Uma aprovação pendente expira após 72 horas, e o fluxo registra a identidade de quem revisou.
O modelo não escreve o job inteiro. Modelos Jinja2, revisados para cada tipo de destino, fornecem a estrutura determinística do script; nos exemplos da AWS, a transformação gerada costuma ocupar de 5 a 15 linhas. A solução verifica esse trecho por uma lista de permissões e valida os parâmetros obrigatórios do script antes de criar o job.
Para algumas falhas de esquema, tipos de dados ou falta de memória, um agente pode iniciar uma nova execução. Ele não tenta novamente se o job com falha talvez já tenha gravado dados ou se a causa não puder ser resolvida por uma nova tentativa, como uma permissão ausente.
O que preparar para a implantação
O exemplo exige permissões da conta AWS na região escolhida e em us-east-1, acesso ao Claude Sonnet 4.6, Node.js 20 ou superior, Python 3.12 ou superior, AWS CLI e Docker. Também requer capacidade para criar uma imagem ARM64 ou usar QEMU, cerca de 100 GB de espaço livre e um aplicativo autenticador. A implantação cria oito pilhas do CloudFormation.
O primeiro uso do modelo precisa de uma configuração única na conta, feita com as credenciais de quem implanta. Se essa etapa for pulada, a implantação pode terminar, mas as etapas de IA falham com AccessDeniedException.
A configuração de exemplo usa o perfil de inferência entre regiões us.anthropic.claude-sonnet-4-6, que a AWS descreve como disponível apenas a partir de regiões AWS dos Estados Unidos. Para implantar fora dos EUA, é necessário alterar o ID do modelo. A AWS testou a solução em us-west-2; a pilha WAF é implantada em us-east-1 para o CloudFront.
A amostra testa o código gerado em isolamento, com uma função de leitura, e usa funções IAM separadas para os jobs e os ambientes dos agentes, além de limites de permissões. Os dados são criptografados em trânsito e em repouso; credenciais JDBC são referenciadas por ARN do Secrets Manager. O login pelo Cognito exige MFA por padrão. No painel, porém, usuários autenticados têm acesso completo: federação de identidade e permissões baseadas em função não fazem parte da amostra e são apontadas como trabalho de reforço para produção.
Na limpeza, pipelines e recursos criados durante a execução — como dados, tabelas, segredos, bancos, recursos IAM e pilhas — podem precisar ser removidos. A pilha de bootstrap do CDK permanece, a menos que seja excluída separadamente.
Como interpretar os custos estimados pela AWS
A AWS estimou os valores abaixo com preços públicos e uma implantação de teste em us-west-2, usando arquivos de amostra com sete ou oito colunas. São estimativas para esse cenário, não um preço geral de implantação.
| Item | Estimativa da AWS | Unidade e condição |
| Execução de amostra | US$ 0,10–0,25 | Por execução de pequena escala |
| Chamadas ao modelo Bedrock | US$ 0,05–0,14 | Por execução |
| Teste em sessão interativa do Glue | US$ 0,01–0,02 | Por tentativa, com dois workers G.1X |
| Job do Glue | Cerca de US$ 0,02 | Por execução |
| AgentCore Runtime, Step Functions, DynamoDB, S3 e CloudWatch | Menos de US$ 0,05 | Em conjunto, por execução |
| Implantação ociosa | US$ 15–20 | Por mês |
A estimativa mensal de implantação ociosa inclui cerca de US$ 14 para duas ACLs e regras do WAF, até US$ 5 para monitoramento do CloudWatch — conforme o uso da camada gratuita — e aproximadamente US$ 1 para armazenamento e um segredo. A AWS não mediu esses custos para fontes mais amplas que as amostras usadas no teste.