Nel resoconto pubblicato il 2 novembre 2026, quattro ricercatori affiliati al MIT CSAIL hanno riferito che GPT-6 Astra ha modificato 131.072 pesi di Qwen3.5-0.8B. Nella prova con 50 passaggi, il punteggio di MATH-500 è salito dal 7,9% al 48,1%, secondo gli autori. La loro interpretazione è che l’intervento abbia ridotto le risposte ripetitive, aiutando il modello a completare più soluzioni. Il resoconto dei ricercatori
Che cosa è cambiato in Qwen3.5-0.8B
I ricercatori Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab hanno descritto l’approccio come weight-space programming, cioè la modifica diretta dei pesi di una rete neurale a partire da un obiettivo espresso in linguaggio naturale. Nel caso di Qwen3.5-0.8B, un modello da circa 0,8 miliardi di pesi e 24 livelli, l’intervento ha riguardato 64 colonne di uscita MLP in ciascuno dei livelli 15 e 19: in tutto lo 0,016% dei pesi.
Secondo gli autori, GPT-6 Astra ha individuato una direzione numerica associata alle ripetizioni e l’ha sottratta a quelle colonne. Il risultato che riportano riguarda quindi un problema specifico del comportamento di Qwen, non l’aggiunta di nuove conoscenze matematiche.
Per interpretare il punteggio di MATH-500, conta anche quante risposte arrivavano al limite di output: nella prova da 50 passaggi, la quota è scesa dal 93,0% al 33,1%.
Come si è svolto il test
Per modificare Qwen, Astra ha usato un kernel Python sui pesi, senza GPU, e ha potuto eseguire il modello su problemi di pratica. Gli autori hanno messo a disposizione 7.469 esercizi di training GSM8K e 7.275 di MATH; Astra non ha ricevuto i set usati per la valutazione. La modalità di ragionamento era attiva.
I ricercatori hanno provato budget di 10, 25 e 50 passaggi in avanti (forward pass), cioè esecuzioni del modello. Il test su Qwen ha quindi combinato l’analisi dei pesi con verifiche su esempi di pratica: è una procedura diversa dagli esperimenti separati, su reti più piccole, in cui Astra ha esaminato pesi grezzi senza eseguire il modello.
I risultati cambiavano con il numero di passaggi
I valori seguenti sono quelli riportati dagli autori. La colonna finale indica la quota di risposte MATH-500 che ha raggiunto il limite di 32.768 token.
| Condizione | MATH-500 | GSM8K | IFEval | Risposte MATH-500 al limite di token |
| Modello base | 7,9% | 13,8% | 21,0% | 93,0% |
| Modifica con 10 passaggi | 12,3% | 25,7% | 49,0% | 87,2% |
| Modifica con 25 passaggi | 14,1% | 25,1% | 39,9% | 86,4% |
| Modifica con 50 passaggi | 48,1% | 67,1% | 62,3% | 33,1% |
Il risultato più marcato è arrivato con 50 passaggi; quelli con 10 e 25 hanno lasciato una quota elevata di risposte al limite di token. I punteggi non sono cresciuti in modo uniforme a ogni budget: per esempio, IFEval è passato dal 49,0% con 10 passaggi al 39,9% con 25, prima di arrivare al 62,3% con 50. I ricercatori hanno riferito che il miglioramento complessivo dipendeva soprattutto dal fatto che Qwen riusciva a concludere risposte che prima si perdevano in ripetizioni.
Il risultato riguarda un problema specifico
Nel test separato con Gemma 3 270M, il punteggio MATH-500 è stato del 6,8% per il modello base e del 7,0%, 7,6%, 7,7% e 7,0% dopo 5, 10, 25 e 50 passaggi. Gli autori non hanno considerato questi risultati una prova di miglioramento matematico. Il tentativo rafforza la portata circoscritta del resoconto su Qwen: la modifica dei pesi non ha prodotto un guadagno analogo in ogni modello esaminato.
GPT-6 Astra ha modificato Qwen3.5-0.8B, non i propri pesi. I ricercatori hanno presentato l’auto-miglioramento ricorsivo come una possibile direzione futura; la prova descritta non ha mostrato un ciclo in cui Astra migliorasse sé stesso e avviasse ulteriori miglioramenti autonomi.
