AWS teilte bereits im August 2026 mit, dass SageMaker AI Serverless Model Customization Full Fine-Tuning (FFT) für mehr als 25 Open-Source-Modelle unterstützt. Der technische Beitrag vom 18. November beschreibt spätere, von AWS durchgeführte Coding-Experimente mit FFT und LoRA. AWS’ Mitteilung zur Verfügbarkeit nennt die Modellfamilien gpt-oss, Gemma, Llama, Nemotron und Qwen sowie vier AWS-Regionen: US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo) und Europe (Ireland).
Was FFT und LoRA am Modell verändern
FFT aktualisiert alle Modellparameter. LoRA (Low-Rank Adaptation) lässt die vortrainierten Gewichte unverändert und trainiert stattdessen zusätzliche Matrizen mit niedrigem Rang. AWS beschreibt beide Verfahren im Zusammenhang mit seinem SageMaker-Angebot.
| Methode | Aktualisierte Gewichte | Aufbau der Anpassung |
| FFT | Alle Modellparameter | Das Modell wird vollständig feinabgestimmt. |
| LoRA | Die vortrainierten Gewichte bleiben unverändert. | Trainiert werden Low-Rank-Adapter. |
Serverless ändert daran nichts: SageMaker verwaltet laut AWS die Zuweisung der Rechenressourcen und die Checkpoints. Das Verfahren bestimmt weiterhin, welche Modellgewichte beim Training angepasst werden.
Was SageMaker serverlos übernimmt
Bei der Modellanpassung gibt der Nutzer das Basismodell, den Datensatz und die Hyperparameter vor. SageMaker übernimmt die Verwaltung der Rechenressourcen und der Checkpoints.
Was AWS’ Qwen3-4B-Experimente zeigen
AWS verglich FFT und LoRA beim überwachten Feinabstimmen von Qwen3-4B. Für beide Verfahren verwendete AWS dieselben Eingabeaufforderungen, Zielantworten und Auswertungsschritte. Der Datensatz Magicoder-Evol-Instruct-110K umfasste 110.000 Einträge: 99.000 Trainings-, 5.500 Validierungs- und 5.500 zurückgehaltene Testbeispiele.
Die Auswertung betrachtete unterschiedliche Fähigkeiten. Amazon Nova Pro diente als LLM-as-Judge zur Bewertung logischer Korrektheit. PRIMECODE maß Codeähnlichkeit anhand von BLEU, ROUGE-1/2/L und F1. MMLU erfasste Wissen über 57 akademische Fachgebiete; MATH bewertete mathematische Antworten per Exact Match.
Für eine Coding-Auswertung meldete AWS bei drei Epochen eine semantische Korrektheit von 90,0 Prozent. In einer separaten LLM-as-Judge-Auswertung erreichte LoRA 81,5 Prozent und FFT 79,5 Prozent. Diese Ergebnisse stammen aus getrennten Auswertungen und ergeben keinen pauschalen Sieger zwischen den Verfahren.
Ein Coding-Wert allein reicht für die Methodenwahl nicht: AWS wertete auch mathematische Genauigkeit und den Erhalt von Allgemeinwissen aus.
Welche Einstellungen die Ergebnisse beeinflussten
In AWS’ Experimenten lagen beide Verfahren beim MATH-Exact-Match unter dem Basismodell. Bei FFT-Lernraten von mindestens 5 × 10⁻⁵ meldete AWS MATH-Werte von 2 bis 3 Prozent und eine MMLU-Genauigkeit von 3,6 Prozent. Diese Messwerte beziehen sich auf die beschriebenen Versuche.
Unter den getesteten Konfigurationen bewahrten eine Lernrate von 2 × 10⁻⁵, eine globale Batchgröße von 8 und 5 Prozent Warm-up das MMLU-Wissen am besten. AWS weist darauf hin, dass geeignete Einstellungen von der jeweiligen Aufgabe abhängen.