Gli autori di uno studio del MIT CSAIL riferiscono che GPT-6 Astra ha modificato i pesi di Qwen3.5-0.8B per ridurre i loop di ragionamento che gli impedivano di completare le risposte. Nel test con 50 passaggi in avanti, il punteggio MATH-500 è passato dal 7,9% al 48,1%. È un risultato specifico di quell’intervento, non una dimostrazione che il metodo migliori qualsiasi modello o aggiunga abilità matematiche.
Un salto nei risultati può dipendere dal fatto che il modello riesca finalmente a terminare una risposta, non da nuove capacità matematiche.
Per il contesto sul modello, NeoTeo ha già pubblicato una panoramica su GPT-6 Astra. Gli autori descrivono il metodo del nuovo studio come Weight-Space Programming: un modello linguistico legge o modifica direttamente i pesi di una rete neurale, senza usare un ottimizzatore né la discesa del gradiente. Lo studio degli autori distingue però esperimenti diversi, con accessi e strumenti differenti.
Come GPT-6 Astra ha modificato i pesi di Qwen3.5-0.8B
Per l’esperimento su Qwen, Astra ha usato un kernel Python per analizzare i pesi e ha eseguito un numero limitato di passaggi in avanti, cioè di esecuzioni del modello. Non ha usato una GPU, l’addestramento o informazioni sui gradienti. Gli autori hanno provato budget di 10, 25 e 50 passaggi, usando problemi di esercitazione tratti dai set di addestramento di GSM8K e MATH; i set di valutazione sono rimasti esclusi dall’analisi di Astra.
Nel test a 50 passaggi, l’intervento ha modificato 131.072 pesi, pari allo 0,016% degli 0,8 miliardi di pesi del modello. Gli autori indicano che le modifiche hanno riguardato 64 colonne di uscita MLP in ciascuno degli strati 15 e 19. Il risultato MATH-500 è cresciuto mentre diminuiva la quota di risposte che raggiungeva il limite di 32.768 token.
| Configurazione di Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | Risposte MATH-500 al limite di 32.768 token |
| Modello di base | 7,9% | 13,8% | 21,0% | 93,0% |
| Modifica con 10 passaggi | 12,3% | 25,7% | 49,0% | 87,2% |
| Modifica con 25 passaggi | 14,1% | 25,1% | 39,9% | 86,4% |
| Modifica con 50 passaggi | 48,1% | 67,1% | 62,3% | 33,1% |
Secondo gli autori, il problema principale di Qwen erano i loop ripetitivi che impedivano di concludere le risposte. La modifica ne ha ridotto l’incidenza, senza eliminarli: il calo più marcato delle risposte al limite di token si è verificato nel test a 50 passaggi. Gli autori interpretano il risultato come una correzione di questo difetto, che permetteva al modello di completare risposte che era già in grado di formulare.
Il confronto con Gemma 3 270M non mostra un guadagno analogo
Gli autori riferiscono risultati diversi per Gemma 3 270M, un modello che, secondo la loro descrizione, tendeva raramente a produrre loop. Su MATH-500, il modello di base ha ottenuto il 6,8%; le versioni modificate hanno raggiunto il 7,0%, il 7,6%, il 7,7% e il 7,0% con budget di 5, 10, 25 e 50 passaggi. Gli autori considerano queste variazioni guadagni non dimostrati.
Nel caso di Gemma, gli errori descritti erano soprattutto di aritmetica o algebra, senza un singolo comportamento ripetitivo da correggere. Il confronto quindi delimita la portata del risultato su Qwen: modificare i pesi può intervenire su un difetto individuato, ma questo esperimento non dimostra che il metodo insegni nuove abilità matematiche.
Gli altri test hanno avuto risultati diversi
Lo studio comprende anche prove di lettura, scrittura e riparazione di reti più piccole. Gli autori riferiscono che Astra ha identificato quattro politiche di gioco osservandone i pesi e ha riconosciuto la lingua e alcune caratteristiche in modelli linguistici di dimensioni ridotte. In una prova di riconoscimento delle forme, ha individuato cerchi, quadrati e triangoli, ma ha confuso le forme piene con i loro contorni. In un esperimento distinto, una modifica a una politica di controllo per un’auto simulata ha portato al successo in tutte le 1.024 partite di valutazione.
Anche la prova sulla tendenza di un modello ad assecondare suggerimenti errati ha avuto un esito circoscritto: Astra non ha distinto in modo affidabile i modelli osservandone soltanto i pesi; li ha identificati in tutte e tre le coppie quando ha potuto esaminare anche gli schemi di attenzione prodotti dalle proprie analisi.