AWS 4 listopada 2026 r. ogłosiła zarządzaną migrację kwalifikujących się tabel Apache Hive do Apache Iceberg w Amazon S3 Tables. Funkcja obejmuje tabele źródłowe zapisane w Parquet i zarejestrowane w AWS Glue Data Catalog; źródło i cel muszą znajdować się na tym samym koncie AWS i w tym samym regionie. AWS podaje, że usługa jest dostępna w wymienionych przez nią regionach startowych (ogłoszenie AWS).
Jakie tabele kwalifikują się do migracji
Źródłem musi być tabela Hive przechowywana jako Parquet w zasobniku ogólnego przeznaczenia Amazon S3 i zarejestrowana w AWS Glue. Tabela docelowa powstaje w zasobniku S3 Tables, w tym samym koncie AWS i regionie co źródło. Migracja tworzy nową tabelę Iceberg; nie przekształca tabeli źródłowej w miejscu (dokumentacja AWS).
Jak przebiega migracja i kontrola zgodności
Proces zaczyna się od wskazania migracji w konsoli Amazon S3. AWS udostępnia też obsługę przez AWS CLI, API i zestawy SDK.
Według AWS migracja sprawdza zgodność, waliduje dane, mapuje typy Hive na Iceberg, kopiuje dane, kompresuje lub ponownie kompresuje pliki i kompaktuje mniejsze pliki. Dokumentacja opisuje również mapowanie schematu i partycji. Zespół może podać schemat docelowy albo użyć schematu zgodnego z tym zarejestrowanym w Glue.
Raporty zgodności powstają przed kopiowaniem. Migracja domyślnie przechodzi dalej po etapie planowania, ale można ją wstrzymać, by najpierw przejrzeć raporty. Po kopiowaniu dostępny jest raport z wynikami dla poszczególnych obiektów, a statystyki pokazują postęp zadania (dokumentacja AWS).
Synchronizacja, zapisy i przełączenie
Tabela źródłowa pozostaje dostępna do odczytu i zapisu w trakcie zadania. AWS pozwala uruchamiać kolejne synchronizacje, które kopiują zmiany wprowadzone od poprzedniego synchronizowania. Dzięki temu przed przełączeniem można zaktualizować tabelę docelową.
W czasie migracji nowa tabela Iceberg jest tylko do odczytu. Po zakończeniu staje się dostępna do odczytu i zapisu. AWS podaje, że podczas końcowego przełączenia zapisy do źródła trzeba wstrzymać na kilka minut (ogłoszenie AWS).
AWS wymienia bezpośrednie integracje z Amazon Athena i Amazon SageMaker Unified Studio oraz zgodność z narzędziami obsługującymi Iceberg REST API.
Regiony startowe i opłaty
Na liście AWS znajdują się regiony w USA: US East (N. Virginia i Ohio) oraz US West (Oregon); w regionie Azji i Pacyfiku: Mumbai, Singapore, Sydney i Tokyo; a w Europie: Frankfurt, Ireland i Stockholm. AWS nie wymienia na tej liście regionu w Polsce. Migracja wymaga, by źródło i cel znajdowały się w tym samym regionie AWS.
AWS deklaruje brak opłaty za samą konwersję z Hive do Iceberg. Klienci płacą za kopiowane dane; końcowy koszt zależy więc także od ilości danych przenoszonych w ramach zadania.
