AWS już w sierpniu 2026 roku informował, że SageMaker AI Serverless Model Customization obsługuje pełne dostrajanie modeli, czyli full fine-tuning (FFT). Opublikowany 18 listopada wpis techniczny AWS przedstawia późniejsze eksperymenty z FFT i LoRA. Ich wyniki zależą od mierzonego zadania i metryki, więc nie ustanawiają jednej metody jako lepszej w każdym zastosowaniu. AWS ogłosił obsługę FFT w sierpniowym komunikacie.

Oceniaj dostrajanie na zadaniu i metryce, które odpowiadają temu, co model ma robić.

Kiedy AWS poinformował o obsłudze FFT?

AWS opisał obsługę FFT w SageMaker AI Serverless Model Customization w komunikacie z sierpnia 2026 roku. Wymienił w nim ponad 25 modeli open source z rodzin gpt-oss, Gemma, Llama, Nemotron i Qwen oraz cztery regiony: US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo) i Europe (Ireland). Komunikat AWS wymienia obsługiwane rodziny modeli i regiony.

Wpis AWS z 18 listopada 2026 roku dotyczy technicznych eksperymentów porównujących FFT i LoRA, a nie pierwszego ogłoszenia obsługi FFT. AWS opisał eksperymenty w późniejszym wpisie technicznym.

Czym różnią się FFT i LoRA?

Ciemny panel SageMaker z informacjami o ukończonym zadaniu Qwen3-4B oraz wykresami straty treningowej i walidacyjnej.

FFT aktualizuje wszystkie parametry modelu. LoRA pozostawia wagi wstępnie wytrenowanego modelu bez zmian, a uczy dodatkowe macierze niskiego rzędu. To różne sposoby dostrajania; sam wybór trybu bezserwerowego nie zmienia tego, które parametry aktualizuje dana metoda.

MetodaCo się zmieniaStruktura dostrajania
FFTWszystkie parametry modeluAktualizowane są pełne wagi modelu
LoRAWagi bazowe pozostają zamrożoneUczą się dodatkowe macierze niskiego rzędu

W SageMaker usługa zarządza przydziałem zasobów obliczeniowych i punktami kontrolnymi. Użytkownik określa model bazowy, zbiór danych i hiperparametry. AWS opisuje działanie usługi i różnice między metodami.

Co pokazały eksperymenty AWS z generowaniem kodu?

AWS porównał FFT i LoRA podczas nadzorowanego dostrajania modelu Qwen3-4B. W obu wariantach użyto tych samych promptów, odpowiedzi docelowych i kodu ewaluacyjnego. Zbiór Magicoder-Evol-Instruct-110K podzielono na 99 000 rekordów treningowych, 5 500 walidacyjnych i 5 500 testowych. Opis eksperymentu i jego wyników opublikował AWS.

W jednym wyniku semantycznej poprawności ocenianej przez model AWS podał 90,0% po trzech epokach. W osobnym porównaniu tej oceny LoRA uzyskała 81,5%, a FFT 79,5%. AWS nie przedstawił tych rezultatów jako jednego identycznego eksperymentu, więc nie należy łączyć ich w bezpośrednie zestawienie.

Eksperyment obejmował też różne miary. PRIMECODE oceniało podobieństwo kodu za pomocą BLEU, ROUGE-1/2/L i F1, a MMLU sprawdzało zachowanie wiedzy w 57 dziedzinach akademickich. W przypadku zadania MATH, mierzącego dokładność odpowiedzi, AWS podał wyniki obu metod poniżej wyniku modelu bazowego.

Jak ustawienia wpływały na zachowanie wiedzy?

W opisanych przez AWS próbach FFT z wartością learning rate równą co najmniej 5e-5 wyniki wynosiły 2–3% w MATH i 3,6% w MMLU. To rezultaty tych konkretnych eksperymentów, nie prognoza dla innych modeli i zbiorów danych.

Spośród testowanych konfiguracji AWS wskazał learning rate 2e-5, globalny batch size 8 i rozgrzewkę obejmującą 5% treningu jako ustawienie, które najlepiej zachowało wynik MMLU. Skuteczne hiperparametry zależą jednak od zadania, dlatego ten wynik opisuje eksperyment AWS, a nie uniwersalną receptę.