AWS teilte bereits im August 2026 mit, dass SageMaker AI Serverless Model Customization Full Fine-Tuning (FFT) für mehr als 25 Open-Source-Modelle unterstützt. Der technische Beitrag vom 18. November beschreibt spätere, von AWS durchgeführte Coding-Experimente mit FFT und LoRA. AWS’ Mitteilung zur Verfügbarkeit nennt die Modellfamilien gpt-oss, Gemma, Llama, Nemotron und Qwen sowie vier AWS-Regionen: US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo) und Europe (Ireland).

Was FFT und LoRA am Modell verändern

FFT aktualisiert alle Modellparameter. LoRA (Low-Rank Adaptation) lässt die vortrainierten Gewichte unverändert und trainiert stattdessen zusätzliche Matrizen mit niedrigem Rang. AWS beschreibt beide Verfahren im Zusammenhang mit seinem SageMaker-Angebot.

MethodeAktualisierte GewichteAufbau der Anpassung
FFTAlle ModellparameterDas Modell wird vollständig feinabgestimmt.
LoRADie vortrainierten Gewichte bleiben unverändert.Trainiert werden Low-Rank-Adapter.

Serverless ändert daran nichts: SageMaker verwaltet laut AWS die Zuweisung der Rechenressourcen und die Checkpoints. Das Verfahren bestimmt weiterhin, welche Modellgewichte beim Training angepasst werden.

Was SageMaker serverlos übernimmt

Dunkle SageMaker-Konsole mit Details zu einem abgeschlossenen Qwen3-4B-Trainingsjob und Diagrammen für Trainings- und Validierungsverlust.

Bei der Modellanpassung gibt der Nutzer das Basismodell, den Datensatz und die Hyperparameter vor. SageMaker übernimmt die Verwaltung der Rechenressourcen und der Checkpoints.

Was AWS’ Qwen3-4B-Experimente zeigen

AWS verglich FFT und LoRA beim überwachten Feinabstimmen von Qwen3-4B. Für beide Verfahren verwendete AWS dieselben Eingabeaufforderungen, Zielantworten und Auswertungsschritte. Der Datensatz Magicoder-Evol-Instruct-110K umfasste 110.000 Einträge: 99.000 Trainings-, 5.500 Validierungs- und 5.500 zurückgehaltene Testbeispiele.

Die Auswertung betrachtete unterschiedliche Fähigkeiten. Amazon Nova Pro diente als LLM-as-Judge zur Bewertung logischer Korrektheit. PRIMECODE maß Codeähnlichkeit anhand von BLEU, ROUGE-1/2/L und F1. MMLU erfasste Wissen über 57 akademische Fachgebiete; MATH bewertete mathematische Antworten per Exact Match.

Für eine Coding-Auswertung meldete AWS bei drei Epochen eine semantische Korrektheit von 90,0 Prozent. In einer separaten LLM-as-Judge-Auswertung erreichte LoRA 81,5 Prozent und FFT 79,5 Prozent. Diese Ergebnisse stammen aus getrennten Auswertungen und ergeben keinen pauschalen Sieger zwischen den Verfahren.

Ein Coding-Wert allein reicht für die Methodenwahl nicht: AWS wertete auch mathematische Genauigkeit und den Erhalt von Allgemeinwissen aus.

Welche Einstellungen die Ergebnisse beeinflussten

In AWS’ Experimenten lagen beide Verfahren beim MATH-Exact-Match unter dem Basismodell. Bei FFT-Lernraten von mindestens 5 × 10⁻⁵ meldete AWS MATH-Werte von 2 bis 3 Prozent und eine MMLU-Genauigkeit von 3,6 Prozent. Diese Messwerte beziehen sich auf die beschriebenen Versuche.

Unter den getesteten Konfigurationen bewahrten eine Lernrate von 2 × 10⁻⁵, eine globale Batchgröße von 8 und 5 Prozent Warm-up das MMLU-Wissen am besten. AWS weist darauf hin, dass geeignete Einstellungen von der jeweiligen Aufgabe abhängen.