AWS’ Agentic Data Ingestion ist eine Referenzlösung, die mit Amazon Bedrock, Strands Agents auf Amazon Bedrock AgentCore, Step Functions und AWS Glue ETL-Abläufe erstellt, testet und ausführt. ETL steht für Extrahieren, Transformieren und Laden. Einzelne Uploads nach Amazon S3 starten jeweils einen Lauf; JDBC-Datenbankabfragen laufen nach Bedarf oder nach Zeitplan. AWS beschreibt die Architektur und den Ablauf der Lösung.
Entscheidend für die Auswahl ist der gewünschte Datenrhythmus: Ein Lauf pro Datei und geplante Datenbankabfragen sind keine kontinuierliche Streaming-Verarbeitung.
So starten Datei- und Datenbankläufe
Die Lösung verarbeitet Dateien aus Amazon S3 sowie Daten aus Datenbanken, die über JDBC (Java Database Connectivity) angebunden sind. Für inkrementelle JDBC-Ladevorgänge dient ein Zeitstempel oder ein numerischer Wasserstand als Marke: Der nächste Lauf wählt damit neuere Datensätze aus.
| Quelle | Unterstützte Eingaben und Auslöser | Testgrundlage |
| Dateien in Amazon S3 | CSV, TSV, Trennzeichen-Dateien mit senkrechtem Strich, JSON, Parquet, Avro, ORC und Excel-Dateien im Format .xlsx; jeder Upload startet einen eigenen Lauf. Bei .xlsx wird pro Lauf ein Arbeitsblatt verarbeitet. | Eine Stichprobe mit 100 Zeilen in einer Glue-Interaktivsitzung mit derselben Spark-Version wie der spätere Job. |
| JDBC-Datenbanken | PostgreSQL, Amazon Aurora, MySQL, MariaDB, Oracle und SQL Server; Läufe nach Bedarf oder nach Zeitplan. | Aus dem Schema erzeugte Zeilen, da die Testsitzung nicht auf die Datenbank zugreifen kann. |
Als Ziele sieht die Lösung Apache-Iceberg-Tabellen in S3 Tables, relationale Datenbanken über JDBC oder partitionierte Parquet-Dateien in einem S3-Bucket vor. S3 Tables unterstützt Anhängen, Überschreiben und Zusammenführen von Daten.
Die zehn Schritte bis zum Glue-Lauf
Step Functions koordiniert den Ablauf. Die Lösung führt ihn in dieser Reihenfolge aus:
- Datei validieren.
- Schema auslesen.
- Schemas vergleichen.
- Felder zuordnen.
- Transformationscode erzeugen.
- Code testen.
- Zielinfrastruktur bereitstellen.
- Glue-Job anlegen.
- Qualitätsprüfungen erfassen.
- Pipeline ausführen.
Menschliche Freigaben sind nach der Feldzuordnung und nach dem Code-Test vorgesehen. Eine Zuordnungsprüfung darf nur entfallen, wenn jedes Feldpaar eine hohe Konfidenz und eine bestätigende Namensübereinstimmung aufweist; wiederverwendete Zuordnungen werden standardmäßig geprüft. Die Freigaben schließen im Zweifel den Ablauf, halten die Identität der prüfenden Person fest und laufen nach 72 Stunden ab.
Wie AWS den generierten Code begrenzt und prüft
Für jedes Ziel geben geprüfte Jinja2-Vorlagen ein festes Grundgerüst vor. Das Modell erstellt darin üblicherweise nur einen Transformationsblock von 5 bis 15 Zeilen. Eine Zulassungsliste prüft den Block; außerdem werden die erforderlichen Job-Parameter aus dem fertigen Skript ausgelesen und vor dem Anlegen des Glue-Jobs validiert.
Bei Datei-Eingaben läuft der Test mit 100 Beispielzeilen in einer Glue-Interaktivsitzung. AWS prüft dabei unter anderem Datensatzanzahl, Nullwerte und Schemaeinhaltung. Bei JDBC-Eingaben stammen die Testzeilen dagegen aus dem Schema und nicht aus der Datenbank. Das ist für die Planung wichtig: Die beiden Pfade prüfen den Transformationscode auf unterschiedlichen Datengrundlagen.
Ein Agent kann bei bestimmten Schema- oder Typfehlern sowie bei einem Speicherfehler einen erneuten Lauf starten. Er überspringt den Wiederholungsversuch, wenn der fehlgeschlagene Job möglicherweise bereits Daten geschrieben hat oder ein erneuter Versuch das Problem nicht beheben kann, etwa bei fehlenden Berechtigungen.
Voraussetzungen und Zugriffsmodell
Für die Bereitstellung braucht man Berechtigungen im gewählten AWS-Region und in us-east-1, Zugriff auf Claude Sonnet 4.6, Node.js 20 oder neuer, Python 3.12 oder neuer, die AWS CLI und Docker. Hinzu kommen eine ARM64-Build-Umgebung oder QEMU, rund 100 GB freier Speicherplatz und eine Authenticator-App. Die Bereitstellung erstellt acht CloudFormation-Stacks. Vor dem ersten Modellaufruf ist außerdem eine einmalige Kontoeinrichtung mit den Zugangsdaten der bereitstellenden Person nötig; ohne sie kann die Bereitstellung zwar enden, die KI-Schritte scheitern anschließend jedoch mit AccessDeniedException.
AWS verwendet im Beispiel das Inferenzprofil us.anthropic.claude-sonnet-4-6, das laut AWS nur aus US-AWS-Regionen verfügbar ist. Für eine Bereitstellung außerhalb der USA muss die Modell-ID geändert werden.
Der Beispielaufbau testet generierten Code isoliert mit einer schreibgeschützten Rolle. Pipeline und AgentCore-Laufzeit haben getrennte IAM-Rollen; für die Pipeline gelten außerdem eine Berechtigungsgrenze und rollenbezogene Berechtigungen. Daten werden bei der Übertragung und im Ruhezustand verschlüsselt, JDBC-Zugangsdaten über einen Secrets-Manager-ARN referenziert. Die Anmeldung über Amazon Cognito verlangt standardmäßig Mehr-Faktor-Authentifizierung. Im Dashboard erhalten angemeldete Personen jedoch standardmäßig vollen Zugriff; föderierte Identitäten und rollenbasierte Dashboard-Rechte gehören nicht zum Beispiel und werden als weitere Härtungsarbeit aufgeführt.
AWS’ Kostenschätzung gilt für einen kleinen US-Test
AWS schätzt einen Lauf mit kleinen Beispieldateien auf 0,10 bis 0,25 US-Dollar und den Leerlaufbetrieb auf 15 bis 20 US-Dollar pro Monat. Grundlage ist ein Test in us-west-2 mit Beispieldateien aus sieben oder acht Spalten und öffentlichen Listenpreisen. AWS beziffert darin die Bedrock-Aufrufe auf 0,05 bis 0,14 US-Dollar je Lauf, Glue-Interaktivtests auf 0,01 bis 0,02 US-Dollar je Versuch und einen Glue-Job auf etwa 0,02 US-Dollar je Lauf. AgentCore Runtime, Step Functions, DynamoDB, S3 und CloudWatch zusammen veranschlagt AWS mit weniger als 0,05 US-Dollar je Lauf. Diese Beträge beziehen sich auf die beschriebene Testkonfiguration.