Onderzoekers meldden in een blog van 2 november 2026 over weight-space programming dat GPT-6 Astra 131.072 gewichten van Qwen3.5-0.8B aanpaste. Bij 50 passes steeg de MATH-500-score volgens hen van 7,9% naar 48,1%. De onderzoekers schreven de winst vooral toe aan minder herhalende redeneerlussen, waardoor Qwen antwoorden vaker kon afmaken.
Hoe Astra Qwen-gewichten aanpaste
Weight-space programming is een methode waarbij een taalmodel gewichten van een neuraal netwerk rechtstreeks aanpast, zonder gradiëntafdaling. In de Qwen-proef gebruikte Astra een Python-kernel om de gewichten te bewerken, zonder GPU. Het model had de denkmodus ingeschakeld en mocht 10, 25 of 50 passes uitvoeren op oefenopgaven uit de trainingssets van GSM8K en MATH. Die sets bevatten respectievelijk 7.469 en 7.275 opgaven; de evaluatiesets kreeg Astra niet te zien. Per pass kon het maximaal 512 problemen verwerken of 1.024 teksten lezen.
De aanpassing betrof 64 uitvoerkolommen van de MLP-laag in zowel laag 15 als laag 19. Daarmee veranderden volgens de onderzoekers 131.072 gewichten, oftewel 0,016% van Qwen3.5-0.8B.
Resultaten per pass-budget
De onderzoekers rapporteerden deze scores voor Qwen3.5-0.8B, met de denkmodus ingeschakeld:
| Conditie | MATH-500 | GSM8K | IFEval | MATH-500-antwoorden op de limiet van 32.768 tokens |
| Basismodel | 7,9% | 13,8% | 21,0% | 93,0% |
| Bewerkt, 10 passes | 12,3% | 25,7% | 49,0% | 87,2% |
| Bewerkt, 25 passes | 14,1% | 25,1% | 39,9% | 86,4% |
| Bewerkt, 50 passes | 48,1% | 67,1% | 62,3% | 33,1% |
De grootste gerapporteerde scoreverandering kwam bij 50 passes, tegelijk met een sterke daling van het aantal antwoorden dat de tokenlimiet bereikte.
Bij 10 en 25 passes bleef het aandeel MATH-500-antwoorden dat de limiet bereikte hoog: 87,2% en 86,4%, tegenover 93,0% bij het basismodel. Na 50 passes was dat 33,1%. Volgens de onderzoekers kwam het grootste deel van de winst doordat Qwen vaker antwoorden afmaakte die het al kon oplossen. De aanpassing voegde volgens hen geen nieuwe wiskundekennis toe.
Waarom de onderzoekers over een lusreparatie spreken
De onderzoekers rapporteerden ook een proef met Gemma 3 270M. De MATH-500-score liep daar van 6,8% voor het basismodel op tot maximaal 7,7% na 25 passes; na 50 passes was de score 7,0%. Zij stelden met geen van de aanpassingen een verbetering vast. Gemma bereikte in de beschreven vergelijking veel minder vaak de tokenlimiet dan Qwen. De modellen gebruikten verschillende samplinginstellingen.
Astra bewerkte Qwen, niet zichzelf
De proef betrof een aanpassing van Qwen3.5-0.8B; Astra bewerkte zijn eigen gewichten niet. De onderzoekers noemden recursieve zelfverbetering een mogelijke toekomstige richting, maar rapporteerden geen cyclus waarin Astra zichzelf aanpaste en daardoor zelfstandig verder verbeterde. De beschreven ingreep gold voor Qwen3.5-0.8B, met wijzigingen in de specifieke lagen 15 en 19.
