Agentic Data Ingestion est une solution de référence d’AWS qui associe des modèles Amazon Bedrock, des agents Strands exécutés sur AgentCore, Step Functions et AWS Glue pour préparer et lancer des pipelines ETL. Les dépôts de fichiers dans S3 déclenchent chacun une exécution ; les sources JDBC sont traitées à la demande ou selon un calendrier. Le parcours décrit repose donc sur des déclenchements ou des chargements planifiés, pas sur un traitement continu des données. AWS détaille l’architecture et le fonctionnement de cette solution.

ETL signifie « extraction, transformation, chargement » : les données sont récupérées, mises en forme, puis envoyées vers une destination. Ici, l’automatisation propose le mappage des champs et prépare le code de transformation ; des validations humaines interviennent avant l’exécution du pipeline.

Choisir le parcours selon la source des données

Pour les fichiers, un dépôt dans S3 lance une exécution individuelle. Le parcours accepte notamment les formats CSV, TSV, JSON, Parquet, Avro et ORC, ainsi que les classeurs Excel .xlsx ; un seul onglet est traité par exécution. Pour les bases relationnelles, les sources JDBC prises en charge comprennent PostgreSQL, Amazon Aurora, MySQL, MariaDB, Oracle et SQL Server. Les chargements incrémentaux s’appuient sur une valeur repère, comme un horodatage ou un nombre, afin de sélectionner les lignes plus récentes.

SourceCadence de traitementBase du test de transformation
Fichier déposé dans S3Une exécution par fichier déposé100 lignes d’exemple dans une session interactive Glue, avec la même version de Spark que le traitement prévu
Base de données via JDBCÀ la demande ou selon un calendrierLignes générées à partir du schéma, car la session de test n’accède pas à la base

Les destinations prévues sont des tables Apache Iceberg dans S3 Tables, des bases relationnelles accessibles via JDBC ou des fichiers Parquet partitionnés dans un compartiment S3. S3 Tables prend en charge l’ajout de données, le remplacement et la fusion.

Les dix étapes, des schémas à l’exécution

Le flux répartit le travail entre les agents, Step Functions et AWS Glue. L’ordre compte : le pipeline passe par la vérification des données et du code avant de créer puis d’exécuter le traitement.

  1. Valider le fichier. Vérifier l’entrée avant de poursuivre le traitement.
  2. Extraire son schéma. Identifier la structure des données reçues.
  3. Comparer les schémas. Repérer les écarts entre la source et la structure cible.
  4. Associer les champs. L’agent propose les correspondances ; une validation humaine intervient ensuite, sauf si chaque correspondance est jugée très fiable et corroborée par un nom de champ correspondant. Les correspondances réutilisées sont, par défaut, soumises à examen.
  5. Générer le code. Des modèles Jinja2 prévalidés fournissent l’ossature adaptée à la destination. Le modèle produit généralement un bloc de transformation de 5 à 15 lignes, vérifié par rapport à une liste d’éléments autorisés.
  6. Tester le code. Une nouvelle validation humaine intervient après le test. Si le flux ne peut pas déterminer si un examen est nécessaire, il s’arrête plutôt que de poursuivre sans validation ; une demande en attente expire après 72 heures.
  7. Préparer l’infrastructure cible. Mettre en place les ressources nécessaires à la destination choisie.
  8. Créer le traitement Glue. Les paramètres requis sont extraits du script final puis vérifiés avant la création du job.
  9. Enregistrer les contrôles qualité. Les vérifications portent notamment sur le nombre d’enregistrements, les valeurs nulles et la conformité du schéma.
  10. Exécuter le pipeline. AWS Glue lance le traitement une fois les contrôles et validations franchis.

Les deux parcours de test n’éprouvent pas les mêmes données. Pour un fichier, la transformation s’exécute sur 100 lignes d’exemple dans une session interactive Glue utilisant la même version de Spark que le job. Pour une source JDBC, les lignes de test sont générées à partir du schéma, et non lues dans la base.

Un agent peut tenter une nouvelle exécution pour certaines erreurs de schéma ou de type, ainsi qu’en cas de manque de mémoire. Il ne relance pas le job si celui-ci a peut-être déjà écrit des données ou si une nouvelle tentative ne peut pas corriger le problème, comme dans le cas de droits manquants.

Avant d’évaluer ce flux, distinguez le déclenchement des exécutions, la base utilisée pour tester la transformation et les validations qui autorisent le passage à l’étape suivante.

Préparer le déploiement et les accès

Le déploiement de l’exemple nécessite des autorisations AWS dans la région choisie et dans us-east-1, l’accès à Claude Sonnet 4.6, Node.js 20 ou version ultérieure, Python 3.12 ou version ultérieure, AWS CLI et Docker. Il faut aussi pouvoir construire une image ARM64 — ou disposer de QEMU —, environ 100 Go d’espace disque libre et une application d’authentification. Le déploiement crée huit piles CloudFormation.

La configuration de modèle fournie utilise le profil d’inférence interrégional us.anthropic.claude-sonnet-4-6, qu’AWS indique disponible uniquement depuis des régions AWS des États-Unis. Pour un déploiement hors des États-Unis, l’identifiant de modèle doit être modifié. Ce choix régional doit donc être pris en compte avant le déploiement.

L’exemple sépare les rôles IAM du pipeline et des agents, applique des limites d’autorisation, chiffre les données en transit et au repos, et référence les identifiants JDBC par leur ARN dans Secrets Manager. Le code généré est testé de façon isolée avec un rôle en lecture seule ; la connexion à Cognito exige l’authentification multifacteur par défaut. En revanche, les utilisateurs connectés disposent par défaut d’un accès complet au tableau de bord. La fédération d’identités et les droits d’accès au tableau de bord par rôle ne font pas partie de l’exemple.

Situer les estimations de coûts d’AWS

Pour son déploiement de test dans us-west-2, avec des fichiers d’exemple de sept ou huit colonnes et les tarifs publics, AWS estime le coût à 0,10 à 0,25 $ US par exécution et 15 à 20 $ US par mois pour le déploiement à l’arrêt. Ce sont des estimations liées à cette configuration d’exemple, pas un tarif de déploiement en France.

Dans le coût par exécution, AWS estime les appels aux modèles Bedrock à 0,05 à 0,14 $ US, les tests en session interactive Glue à 0,01 à 0,02 $ US par tentative et le job Glue à environ 0,02 $ US. AgentCore Runtime, Step Functions, DynamoDB, S3 et CloudWatch représentent ensemble moins de 0,05 $ US par exécution, selon l’estimation d’AWS.