AWS Agentic Data Ingestion to rozwiązanie referencyjne do tworzenia, testowania i uruchamiania zadań ETL. Modele Amazon Bedrock proponują mapowanie pól i pomagają generować kod transformacji, agenci Strands działają w Amazon Bedrock AgentCore, Step Functions koordynuje przebieg, a AWS Glue wykonuje zadania. Każdy plik przesłany do S3 uruchamia osobny przebieg; źródła JDBC można odpytywać na żądanie lub według harmonogramu. AWS opisuje tę architekturę i jej działanie.
ETL oznacza pobranie danych, ich przekształcenie i zapisanie w miejscu docelowym. W przykładzie AWS poszczególne zadania uruchamiają przesłane pliki albo zaplanowane lub ręcznie wywołane odczyty baz danych — nie ciągły strumień danych.
Jakie źródła i cele obsługuje przepływ
Pliki mogą mieć format CSV, TSV, JSON, Parquet, Avro, ORC lub Excel .xlsx; obsługiwane są też pliki rozdzielane znakiem pionowej kreski. Z pliku .xlsx jeden przebieg przetwarza jeden arkusz. Źródła JDBC obejmują PostgreSQL, Amazon Aurora, MySQL, MariaDB, Oracle i SQL Server. Przy odczycie przyrostowym system wybiera rekordy nowsze niż poprzedni przebieg, korzystając ze znacznika czasu lub wartości liczbowej zwanej watermarkiem.
| Źródło | Uruchamianie | Podstawa testu transformacji |
| Plik w S3 | Każdy przesłany plik rozpoczyna osobny przebieg. | Próbka 100 wierszy w sesji interaktywnej Glue, z tą samą wersją Sparka co zadanie. |
| Baza danych JDBC | Na żądanie lub według harmonogramu; odczyt przyrostowy może korzystać ze znacznika czasu albo wartości liczbowej. | Wiersze wygenerowane na podstawie schematu, ponieważ sesja testowa nie ma dostępu do bazy. |
Dane wyjściowe mogą trafić do tabel Apache Iceberg w S3 Tables, relacyjnej bazy JDBC albo do plików Parquet partycjonowanych w zasobniku S3. Dla S3 Tables przepływ obsługuje dopisywanie, nadpisywanie i scalanie danych.
Jak przebiega tworzenie i uruchomienie zadania
Przepływ obejmuje dziesięć etapów. Dwa punkty zatwierdzania — po mapowaniu schematu i po testowaniu kodu — pozostawiają człowiekowi kontrolę przed dalszym działaniem.
- Sprawdzenie pliku. System weryfikuje plik wejściowy, zanim rozpocznie jego przetwarzanie.
- Odczyt schematu. Wydobywa strukturę pól ze źródła.
- Porównanie schematów. Zestawia strukturę wejściową ze schematem docelowym.
- Mapowanie pól. Proponuje powiązania między polami. Potem przepływ zatrzymuje się na zatwierdzeniu; przegląd można pominąć tylko wtedy, gdy każda para ma wysoką pewność i potwierdza ją zgodność nazw. Ponownie użyte mapowania domyślnie wymagają przeglądu.
- Wygenerowanie kodu. Model tworzy blok transformacji na podstawie szablonu właściwego dla celu.
- Test kodu. Przed utworzeniem zadania Glue transformacja przechodzi test; po nim następuje drugi punkt zatwierdzania.
- Przygotowanie infrastruktury celu. System konfiguruje zasoby potrzebne do zapisu danych.
- Utworzenie zadania Glue. Wygenerowany skrypt i wymagane parametry są sprawdzane przed utworzeniem zadania.
- Zapis kontroli jakości. Przepływ rejestruje kontrole danych.
- Uruchomienie potoku. AWS Glue wykonuje zadanie ETL.
Zatwierdzenia rejestrują tożsamość osoby zatwierdzającej, a oczekiwanie na decyzję trwa maksymalnie 72 godziny. Brak możliwości ustalenia, czy wymagana jest kontrola, zatrzymuje przepływ zamiast przepuszczać go dalej.
Jak AWS ogranicza i testuje generowany kod
Model nie tworzy całego skryptu od zera. Przeglądane przez człowieka szablony Jinja2 zapewniają szkielet właściwy dla danego celu, a model w przykładach AWS generuje zwykle tylko 5–15 wierszy bloku transformacji. Blok przechodzi kontrolę listy dozwolonych elementów, a parametry gotowego skryptu są analizowane i sprawdzane przed utworzeniem zadania Glue.
W przypadku plików test działa w sesji interaktywnej Glue, na próbce 100 wierszy i w tej samej wersji Sparka co zadanie. Kontrole obejmują liczbę rekordów, wartości null i zgodność schematu. Test JDBC korzysta z wierszy wygenerowanych ze schematu, a nie z rekordów pobranych z bazy. To istotna różnica, jeśli poprawność transformacji zależy od rzeczywistych danych.
Agent może ponowić zadanie raz przy określonych błędach schematu lub typów danych albo przy braku pamięci. Pomija ponowienie, jeśli zadanie mogło już zapisać dane albo problemu nie rozwiąże kolejna próba, na przykład przy braku uprawnień.
Przy ocenie tego przepływu sprawdź osobno, na jakich danych testowana jest transformacja: próbka pliku i wiersze wygenerowane ze schematu JDBC nie dają tego samego rodzaju weryfikacji.
Co przygotować przed wdrożeniem
Przykład wymaga uprawnień w wybranym regionie AWS oraz w us-east-1, dostępu do Claude Sonnet 4.6, Node.js 20 lub nowszego, Python 3.12 lub nowszego, AWS CLI i Dockera. Potrzebne jest także środowisko do budowania obrazów ARM64 albo QEMU, około 100 GB wolnego miejsca oraz aplikacja uwierzytelniająca. Wdrożenie tworzy osiem stosów CloudFormation. Pierwsze wywołanie modelu wymaga jednorazowej konfiguracji konta wykonanej poświadczeniami użytkownika wdrażającego; jej pominięcie może zakończyć kroki AI błędem AccessDeniedException.
Konfiguracja przykładu korzysta z profilu wnioskowania us.anthropic.claude-sonnet-4-6, który AWS opisuje jako dostępny wyłącznie z regionów AWS w USA. Przy wdrożeniu poza USA trzeba zmienić identyfikator modelu. Przykład nie wskazuje konkretnego zamiennika dla polskiego lub innego europejskiego regionu.
AWS opisuje też zabezpieczenia wykonania: testy wygenerowanego kodu odbywają się w izolacji z rolą tylko do odczytu, zadania potoku mają ograniczone role IAM i granicę uprawnień, a środowiska agentów korzystają z osobnych ról. Dane są szyfrowane podczas przesyłania i przechowywania, a dane logowania do JDBC odwołują się do ARN w AWS Secrets Manager. Logowanie Cognito domyślnie wymaga MFA. Jednocześnie każdy zalogowany użytkownik ma pełny dostęp do panelu; przykład nie obejmuje federacji tożsamości ani dostępu do panelu opartego na rolach.
Po zakończeniu pracy trzeba uwzględnić sprzątnięcie utworzonych potoków oraz zasobów danych, tabel, sekretów, baz i IAM. Stos bootstrapowy CDK pozostaje, dopóki nie zostanie usunięty osobno.
Jak rozumieć szacunki kosztów AWS
AWS szacuje koszt pojedynczego przebiegu w skali przykładowej na 0,10–0,25 USD, a utrzymanie bezczynnego wdrożenia na 15–20 USD miesięcznie. To wartości z testowego wdrożenia w regionie us-west-2, dla przykładowych plików o siedmiu lub ośmiu kolumnach i przy publicznych cenach katalogowych AWS. Są to szacunki AWS dla tych warunków, nie cena wdrożenia w Polsce. AWS podaje te kwoty wraz z zakresem testu.