MIT-auteurs melden dat GPT-6 Astra met Python de gewichten van Qwen3.5-0.8B aanpaste. In hun proef met 50 forward passes steeg de MATH-500-score van 7,9% naar 48,1%. De auteurs schrijven de winst vooral toe aan minder herhalende antwoorden, waardoor Qwen vaker een antwoord kon afmaken.
Welke gewichten werden aangepast?
De auteurs noemen hun aanpak Weight-Space Programming: een taalmodel analyseert en wijzigt netwerkgewichten zonder dat een optimizer of gradiënten de aanpassing berekenen. Voor de Qwen-proef richtte GPT-6 Astra zich op een richting die met herhaling samenhing. De auteurs rapporteren dat de wijziging 64 uitvoerkolommen van de MLP’s in laag 15 en laag 19 raakte: in totaal 131.072 gewichten, ongeveer 0,016% van het model.
De aanpassing gebruikte Python en modelruns
‘Zonder training’ betekende hier niet dat Astra de gewichten alleen bekeek. De auteurs gaven het model via een Python-kernel toegang tot de gewichten en lieten Qwen antwoorden genereren om de herhaling te onderzoeken en de aanpassing te testen. De proef gebruikte geen GPU, gradiënten of trainingslus om de wijziging te berekenen, maar wel oefenopgaven en herhaalde modelruns.
Astra kreeg volgens de auteurs 7.469 GSM8K- en 7.275 MATH-trainingsvoorbeelden als oefendata. De evaluatiesets kreeg het niet te zien. De auteurs testten bewerkingsbudgetten van 10, 25 en 50 forward passes; de uitvoering met 50 passes leverde de grootste gerapporteerde verandering op.
De scores bij 50 forward passes
De MIT-auteurs beschrijven de proef en de resultaten als volgt:
| Meting | Voor de aanpassing | Na de aanpassing, 50 passes |
| MATH-500 | 7,9% | 48,1% |
| GSM8K | 13,8% | 67,1% |
| IFEval | 21,0% | 62,3% |
| MATH-500-antwoorden die de limiet van 32.768 tokens bereikten | 93,0% | 33,1% |
Het aantal passes maakte verschil. Op MATH-500 kwam Qwen na 10 passes uit op 12,3% en na 25 passes op 14,1%; de percentages antwoorden die de tokenlimiet bereikten, waren toen respectievelijk 87,2% en 86,4%. De uitkomst van 48,1% hoorde dus bij de conditie met 50 passes.
De auteurs melden voor hun gecombineerde aanpassing 579 geredde antwoorden en vijf regressies. Van de geredde antwoorden waren er 576 eerder afgebroken doordat ze de tokenlimiet bereikten. Bij antwoorden die oorspronkelijk al af waren, bleef de nauwkeurigheid volgens de auteurs gelijk. Dat past bij hun uitleg: de ingreep hielp vooral antwoorden voltooien die door herhaling vastliepen, en toont op zichzelf niet aan dat Qwen nieuwe wiskundige kennis verwierf.
De Gemma-proef stelde geen wiskundige winst vast
Bij Gemma 3 270M, dat in de proef zelden in herhaling verviel, stelden de auteurs geen verbetering op MATH-500 vast. De basisscore was 6,8%; de scores na bewerkingen met 5, 10, 25 en 50 passes waren 7,0%, 7,6%, 7,7% en 7,0%. De gerapporteerde Qwen-proef betrof Qwen3.5-0.8B.
