Onderzoekers van MIT melden dat GPT-6 Astra de gewichten van Qwen3.5-0.8B aanpaste om herhalende redeneerloops terug te dringen. In de test met 50 voorwaartse berekeningen steeg de gerapporteerde MATH-500-score van 7,9% naar 48,1%. Dat resultaat hoort bij één specifieke reparatie en testopzet. De studie van de auteurs beschrijft geen algemene methode om elk model beter te maken.
Wie eerst meer achtergrond wil over GPT-6 Astra, kan ook NeoTeo’s eerdere uitleg over het model lezen.
Hoe Astra de gewichten van Qwen3.5-0.8B aanpaste
De auteurs noemen hun aanpak Weight-Space Programming: een taalmodel leest of schrijft rechtstreeks de gewichten van een neuraal netwerk, zonder optimalisatie-algoritme of gradiëntafdaling. Voor de Qwen-proef gebruikte Astra een Python-kernel om de gewichten te onderzoeken en aan te passen. Het model draaide op een CPU, zonder GPU, training of gradiëntinformatie.
Astra kreeg 10, 25 of 50 voorwaartse berekeningen. Daarbij liet het Qwen oefenopgaven uit de trainingssets van GSM8K en MATH verwerken; de evaluatiesets bleven buiten bereik. In de proef met 50 berekeningen wijzigde Astra 131.072 gewichten: uitvoerkolommen van de MLP in laag 15 en laag 19. Dat was volgens de auteurs 0,016% van de circa 0,8 miljard gewichten van Qwen3.5-0.8B.
De auteurs schrijven de scoreverbetering toe aan het verminderen van herhalende redeneerloops waardoor Qwen antwoorden niet afmaakte. De cijfers geven dus vooral weer hoe het model in deze proef met die specifieke fout omging.
| Qwen3.5-0.8B-instelling | MATH-500 | GSM8K | IFEval | MATH-500-antwoorden die de limiet van 32.768 tokens bereikten |
| Basismodel | 7,9% | 13,8% | 21,0% | 93,0% |
| Bewerking met 10 voorwaartse berekeningen | 12,3% | 25,7% | 49,0% | 87,2% |
| Bewerking met 25 voorwaartse berekeningen | 14,1% | 25,1% | 39,9% | 86,4% |
| Bewerking met 50 voorwaartse berekeningen | 48,1% | 67,1% | 62,3% | 33,1% |
De tabel laat zien dat de uitkomsten per test en per aantal berekeningen verschillen. Ook het aandeel MATH-500-antwoorden dat de tokenlimiet bereikte, daalde in de proef met 50 berekeningen: van 93,0% bij het basismodel naar 33,1% na de bewerking.
Een opvallende benchmarkwinst kan voortkomen uit het verhelpen van één terugkerende fout; dat maakt haar nog geen algemene verbetering voor andere modellen.
Wat de vergelijking met Gemma 3 270M laat zien
Bij Gemma 3 270M, dat volgens de auteurs zelden in zulke loops terechtkwam, leverden de bewerkingen geen aangetoonde MATH-500-winst op. De basisscore was 6,8%; de bewerkingen met respectievelijk 5, 10, 25 en 50 voorwaartse berekeningen scoorden 7,0%, 7,6%, 7,7% en 7,0%. De auteurs beschrijven die kleine verschillen niet als een vastgestelde verbetering.
Dat contrast ondersteunt een beperktere lezing van de Qwen-uitkomst: het onderzoek koppelt die aan het terugdringen van gedrag dat antwoorden onafgemaakt liet. De auteurs stellen dat dit geen nieuwe wiskundige vaardigheid toevoegde. De Gemma-proef laat bovendien niet zien dat dezelfde aanpak een model zonder die specifieke fout betrouwbaar vooruithelpt.
Andere proeven laten uiteenlopende resultaten zien
De studie omvatte ook kleinere netwerken en andere taken. De auteurs melden dat Astra vier spelstrategieën kon herkennen aan de gewichten, maar bij een diffusienetwerk gevulde vormen verwarde met contouren. Het onderzocht daarnaast onderdelen van taalmodellen zonder die modellen uit te voeren.
Bij een simulatie van een auto die een helling niet opkwam, leidde een eenmalige gewichtsaanpassing volgens de auteurs tot succes in alle 1.024 evaluatierondes. Voor de spellen in MinAtar en een Go-netwerk schreven de onderzoekers ook netwerken, met wisselende uitkomsten en verschillende testomstandigheden. De sycofantieproef onderstreepte eveneens dat de toegang ertoe doet: op basis van alleen gewichten herkende Astra het model dat meeging in onjuiste suggesties niet betrouwbaar; met aandachtspatronen uit eigen tests lukte die identificatie wel.