W opisie opublikowanym 2 listopada 2026 r. Rikiya Takehi, Jayden Teoh, Alex Zhang i Omar Khattab z MIT CSAIL podali, że po edycji wag Qwen3.5-0.8B wynik modelu w teście MATH-500 wzrósł z 7,9% do 48,1%. Autorzy wiążą tę zmianę przede wszystkim z ograniczeniem pętli powtarzających odpowiedzi: w ich analizie 576 z 579 odzyskanych odpowiedzi było wcześniej uciętych.
Co zmieniono w Qwen3.5-0.8B
GPT-6 Astra zmodyfikował bezpośrednio 131 072 wagi Qwen3.5-0.8B. Według autorów stanowiło to 0,016% modelu. Zmiana objęła po 64 kolumny wyjściowe perceptronu wielowarstwowego (MLP) w warstwach 15 i 19.
Autorzy nazwali tę metodę „Weight-Space Programming”, czyli programowaniem w przestrzeni wag: model językowy analizuje i edytuje parametry sieci bez typowej pętli treningowej opartej na gradiencie. W tym eksperymencie Astra korzystała z jądra Pythona do pracy na wagach, bez użycia GPU.
Wyniki Qwen w trzech benchmarkach
Poniższe wyniki pochodzą z eksperymentów opisanych przez autorów. Różnica między wynikami bazowym i końcowym w MATH-500 wynosi 40,2 punktu procentowego.
| Benchmark | Qwen3.5-0.8B przed edycją | Qwen3.5-0.8B po 50 przebiegach |
| MATH-500 | 7,9% | 48,1% |
| GSM8K | 13,8% | 67,1% |
| IFEval | 21,0% | 62,3% |
MATH-500 i GSM8K to benchmarki zadań matematycznych, a IFEval służy do oceny wykonywania instrukcji. Wynik w MATH-500 po 10 przebiegach wynosił 12,3%, a po 25 przebiegach 14,1%. Największa zmiana pojawiła się więc w raporcie z próby obejmującej 50 przebiegów.
Skąd wziął się wzrost wyniku MATH-500
Autorzy przypisują główną część poprawy temu, że po edycji mniej odpowiedzi zapętlało się i urywało. Spośród 579 odpowiedzi, które analiza zaliczyła jako odzyskane, 576 wcześniej kończyło się przedwcześnie. Z kolei zagregowana trafność odpowiedzi, które już przed zmianą były ukończone, pozostała bez zmian.
Podobny obraz daje odsetek odpowiedzi MATH-500 dochodzących do limitu 32 768 tokenów. Spadł on z 93,0% w wyniku bazowym do 33,1% po 50 przebiegach. Przy 10 i 25 przebiegach wynosił odpowiednio 87,2% i 86,4%.
Te wyniki wskazują na więcej ukończonych odpowiedzi w tym eksperymencie, a nie na wykazany przyrost wiedzy matematycznej modelu.
Warunki eksperymentu i próba z Gemma
Test dotyczył Qwen3.5-0.8B w trybie thinking. Astra mogła korzystać z 7469 zadań treningowych GSM8K i 7275 zadań treningowych MATH; autorzy podają, że nie widziała końcowych zestawów ewaluacyjnych. Sprawdzali budżety 10, 25 i 50 przebiegów przez model.
W próbie kontrolnej Gemma 3 270M rzadziej dochodziła do limitu tokenów: dotyczyło to 8,5% odpowiedzi, wobec 93% w przypadku Qwen. Wynik Gemma 3 270M w MATH-500 wynosił 6,8% przed edycją i sięgał maksymalnie 7,7% po zmianach. Autorzy nie uznali tej poprawy za ustaloną.
