AWS’ Agentic Data Ingestion is een referentieoplossing die met Amazon Bedrock en agents datamapping en transformatiecode voorbereidt, test en vervolgens als AWS Glue-job uitvoert. AWS Step Functions coördineert de workflow. Een upload naar S3 start een afzonderlijke run; JDBC-bronnen worden op aanvraag of volgens een schema verwerkt. Dat is een ander ritme dan continu streamen. AWS beschrijft de architectuur en werkwijze.

ETL staat voor het ophalen, transformeren en laden van gegevens. De referentieoplossing laat modellen veldmappings voorstellen en transformaties maken, maar bouwt ook menselijke controlemomenten in voordat de workflow verdergaat.

Beoordeel deze aanpak op drie punten: wanneer een run start, welke gegevens de test daadwerkelijk gebruikt en waar een medewerker moet goedkeuren.

Bestanden en databases volgen verschillende paden

Voor bestanden start elke upload naar S3 een eigen run. JDBC — een veelgebruikte manier waarop software verbinding maakt met relationele databases — kan op aanvraag of volgens een schema worden uitgevoerd. Bij incrementele database-imports gebruikt de oplossing een tijdstempel of numerieke watermerkwaarde om records te selecteren die nieuwer zijn dan bij de vorige run.

BronGedocumenteerd ritmeBasis van de test
Bestanden in S3: CSV, TSV, bestanden met pipe-scheiding, JSON, Parquet, Avro, ORC en Excel-bestanden (.xlsx)Elke upload start een afzonderlijke run; per run wordt één werkblad verwerktEen Glue-interactieve sessie test de transformatie met 100 voorbeeldrijen en dezelfde Spark-versie als de job
JDBC: PostgreSQL, Amazon Aurora, MySQL, MariaDB, Oracle en SQL ServerOp aanvraag of volgens een schema; incrementeel laden kan een tijdstempel of numerieke watermerkwaarde gebruikenDe test gebruikt rijen die op basis van het schema zijn gegenereerd, niet records uit de database

De JDBC-testomgeving heeft geen toegang tot de database zelf. Een geslaagde test met gegenereerde rijen controleert de transformatie dus op die testgegevens; voor bestanden gebruikt AWS juist een steekproef uit het bestand.

De oplossing kan gegevens wegschrijven naar Apache Iceberg-tabellen in S3 Tables, relationele databases die via JDBC bereikbaar zijn, of gepartitioneerde Parquet-bestanden in een S3-bucket. Voor S3 Tables beschrijft AWS toevoegen, overschrijven en samenvoegen als schrijfopties.

De workflow zet controles tussen voorstel en uitvoering

De tien stappen lopen van bestandsvalidatie en schema-extractie naar schemavergelijking, veldmapping, codegeneratie en codetests. Daarna richt de workflow de doeldatabase of opslag in, maakt hij de Glue-job aan, registreert hij kwaliteitscontroles en voert hij de pipeline uit.

Menselijke goedkeuring volgt na de mapping en na de codetest. De eerste controle kan worden overgeslagen als elk veldpaar een hoge betrouwbaarheidsscore heeft én de veldnamen overeenkomen. Hergebruikte mappings worden standaard ter beoordeling aangeboden. De controles stoppen de workflow als die niet kan bepalen of goedkeuring nodig is. Ze registreren wie heeft beoordeeld; een run die 72 uur op goedkeuring wacht, loopt af.

Voor de code gebruikt de oplossing per doeltype gecontroleerde Jinja2-sjablonen als vaste basis. Het model schrijft daarin doorgaans alleen een transformatieblok van 5 tot 15 regels. Een allowlist controleert dat blok, en de vereiste jobparameters worden uit het uiteindelijke script gehaald en gevalideerd voordat AWS de Glue-job aanmaakt.

Bij bestandstests draait de transformatie in een Glue-interactieve sessie met dezelfde Spark-versie als de job. AWS controleert onder meer aantallen records, nullwaarden en overeenstemming met het schema. Voor databasebronnen gebruikt de testsessie gegenereerde rijen op basis van het schema, omdat de sessie geen verbinding heeft met de database.

Een herstelagent kan bij bepaalde schema- of typefouten en bij een geheugentekort één nieuwe run starten. Slaat een mislukte job mogelijk al gegevens op, dan wordt die nieuwe poging overgeslagen; hetzelfde geldt wanneer een nieuwe poging de oorzaak niet kan verhelpen, zoals bij ontbrekende rechten.

De voorbeeldimplementatie vraagt voorbereiding en beperkte toegang

Voor de installatie zijn AWS-rechten nodig in de gekozen regio en in us-east-1, toegang tot Claude Sonnet 4.6, Node.js 20 of hoger, Python 3.12 of hoger, de AWS CLI en Docker. Ook is een mogelijkheid nodig om ARM64-images te bouwen of QEMU te gebruiken, plus ongeveer 100 GB vrije schijfruimte en een authenticator-app. De implementatie maakt acht CloudFormation-stacks aan.

Het voorbeeld gebruikt het inferenceprofiel us.anthropic.claude-sonnet-4-6, dat volgens AWS alleen vanuit AWS-regio’s in de VS beschikbaar is. Voor een deployment buiten de VS moet de model-ID worden aangepast. De standaardconfiguratie is daardoor niet zonder wijziging bruikbaar vanuit een Europese AWS-regio.

AWS beschrijft verder afzonderlijke IAM-rollen voor de agents en pipelinejobs, een permissiegrens voor de jobs en tests van gegenereerde code in isolatie onder een alleen-lezenrol. Gegevens worden tijdens transport en opslag versleuteld; JDBC-inloggegevens worden via een ARN uit Secrets Manager opgehaald. Inloggen via Cognito vereist standaard MFA. Iedere ingelogde gebruiker heeft standaard volledige toegang tot het dashboard; federatieve identiteitskoppeling en rolgebaseerde dashboardtoegang zijn niet opgenomen.

AWS’ kostenraming geldt voor een kleine testopstelling

AWS schat een run op $ 0,10–0,25 USD en een ongebruikte deployment op $ 15–20 USD per maand. Die bedragen zijn gebaseerd op een testopstelling in us-west-2, bestanden met zeven of acht kolommen en openbare lijstprijzen. Het zijn dus ramingen voor die voorbeeldconfiguratie, niet voor een willekeurige workload.

Volgens AWS bestaat de maandelijkse schatting onder meer uit ongeveer $ 14 USD voor twee WAF-web-ACL’s en bijbehorende regels, maximaal $ 5 USD voor CloudWatch-monitoring afhankelijk van gebruik van de gratis laag, en circa $ 1 USD voor opslag en één geheim. Voor afzonderlijke runs raamt AWS de modelaanroepen op $ 0,05–0,14 USD, Glue-interactieve tests op $ 0,01–0,02 USD per poging en de Glue-job op ongeveer $ 0,02 USD. AgentCore Runtime, Step Functions, DynamoDB, S3 en CloudWatch kosten samen volgens de raming minder dan $ 0,05 USD per run.