AWS avait déjà annoncé en août 2026 que SageMaker AI Serverless Model Customization prenait en charge le fine-tuning complet (FFT). L’avis d’AWS mentionne plus de 25 modèles open source des familles gpt-oss, Gemma, Llama, Nemotron et Qwen, ainsi que quatre Régions : US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo) et Europe (Ireland) (avis d’AWS).

Le 18 novembre 2026, AWS a publié un billet technique présentant ses expériences de programmation comparant FFT et LoRA. Ces résultats portent sur des essais précis ; ils ne désignent pas une méthode gagnante pour tous les modèles et toutes les tâches (billet technique d’AWS).

Le mode serverless délègue à SageMaker la gestion de l’infrastructure ; il ne change pas le nombre de paramètres mis à jour par le FFT.

Ce que changent le FFT et LoRA dans un modèle

Tableau de bord SageMaker en thème sombre, avec les détails d’un entraînement terminé et les courbes de perte d’entraînement et de validation.

Le FFT met à jour tous les paramètres du modèle. LoRA, ou Low-Rank Adaptation, conserve les poids préentraînés et apprend des matrices d’adaptation de rang faible. SageMaker AI Serverless Model Customization gère l’allocation du calcul et les points de reprise ; le choix entre FFT et LoRA détermine toujours la manière dont le modèle est ajusté.

MéthodePoids mis à jourStructure de l’adaptation
FFTTous les paramètres du modèleLes poids du modèle sont ajustés
LoRALes poids préentraînés restent inchangésDes matrices d’adaptation de rang faible sont entraînées

AWS indique que le FFT demande davantage de calcul et de temps d’entraînement que LoRA, et produit des artefacts plus volumineux qui contiennent tous les poids. Il évite en revanche la surcharge des adaptateurs lors de l’inférence. AWS précise aussi que le FFT ne prend pas en charge la personnalisation continue (documentation AWS sur le FFT).

Ce que montrent les expériences de programmation d’AWS

AWS a comparé les deux méthodes par ajustement supervisé de Qwen3-4B, avec les mêmes invites, réponses cibles et code d’évaluation. Le jeu Magicoder-Evol-Instruct-110K comptait 110 000 enregistrements : 99 000 pour l’entraînement, 5 500 pour la validation et 5 500 réservés aux tests.

L’évaluation couvrait plusieurs dimensions. Amazon Nova Pro servait de juge pour évaluer la correction sémantique. PRIMECODE mesurait la similarité du code avec BLEU, ROUGE-1/2/L et F1. MMLU évaluait la conservation de connaissances dans 57 disciplines universitaires.

Dans un résultat rapporté après trois époques, AWS indique 90,0 % de correction sémantique. Dans une comparaison distincte évaluée par LLM-as-Judge, LoRA obtient 81,5 % et le FFT 79,5 %. Ces chiffres appartiennent à des comparaisons séparées ; ils ne permettent donc pas de résumer les résultats par une victoire générale du FFT.

Les compromis et les risques dépendent aussi des réglages

Dans les expériences d’AWS, FFT et LoRA obtiennent tous deux un score inférieur au modèle de base sur MATH en exact match. Avec des taux d’apprentissage FFT d’au moins 5e-5, AWS rapporte des scores de 2 à 3 % sur MATH et de 3,6 % sur MMLU. Ce sont des résultats de ces essais sur Qwen3-4B, pas une prévision pour d’autres modèles ou jeux de données.

Parmi les configurations testées, AWS indique qu’un taux d’apprentissage de 2e-5, une taille de lot globale de 8 et une période de chauffe de 5 % préservaient le mieux les connaissances générales mesurées par MMLU. Le choix entre FFT et LoRA se juge donc sur les tâches visées et sur les capacités que l’on veut conserver, pas sur un seul score de programmation.