Qwen3.5-0.8B: perché è salito il punteggio MATH-500

Nel test descritto dagli autori, GPT-6 Astra ha modificato i pesi di Qwen3.5-0.8B e il punteggio del modello in MATH-500 è passato dal 7,9% al 48,1% dopo 50 passaggi in avanti. Gli autori collegano il risultato soprattutto alla riduzione delle risposte che si bloccavano in un loop e venivano troncate: la loro analisi dice che 576 delle 579 risposte recuperate erano state interrotte prima di concludersi.

Che cosa è cambiato nei pesi di Qwen

Nel post pubblicato il 2 novembre 2026, Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, affiliati a MIT CSAIL, descrivono un metodo chiamato Weight-Space Programming: un modello linguistico analizza e modifica direttamente i pesi di una rete neurale, senza ricorrere a un ciclo convenzionale di addestramento per queste modifiche.

L’esperimento ha riguardato Qwen3.5-0.8B in modalità thinking, un modello a 24 strati con 0,8 miliardi di pesi. Secondo gli autori, GPT-6 Astra ha modificato 64 colonne di uscita del MLP, la rete che elabora le rappresentazioni interne del modello, in ciascuno degli strati 15 e 19. In totale ha cambiato 131.072 pesi, pari allo 0,016% del modello secondo il loro conteggio. Astra ha operato tramite un kernel Python sui pesi, senza GPU né informazioni sui gradienti.

I punteggi riportati nei benchmark

Dopo 50 passaggi in avanti, gli autori hanno riportato questi risultati per Qwen3.5-0.8B. MATH-500 valuta la capacità di risolvere problemi matematici, GSM8K raccoglie problemi matematici formulati a parole e IFEval misura il rispetto delle istruzioni.

La differenza fra i due punteggi mostrati per MATH-500 è di 40,2 punti percentuali. È un risultato notevole per il test descritto, ma la spiegazione degli autori riguarda soprattutto la capacità di completare risposte che prima si interrompevano.

Perché è salito il risultato di MATH-500

Gli autori attribuiscono la parte principale del miglioramento alla rimozione di un loop ripetitivo che impediva a Qwen di terminare alcune risposte. Nella loro analisi, 576 delle 579 risposte recuperate erano state troncate in precedenza; l’accuratezza aggregata delle risposte che il modello aveva già completato è invece rimasta invariata.

Nel confronto su MATH-500, la quota di risposte che raggiungeva il limite di 32.768 token è scesa dal 93,0% al 33,1%. Il quadro descritto dagli autori è quindi quello di più risposte portate a termine, non di una dimostrazione che la modifica abbia insegnato a Qwen nuove conoscenze matematiche.

Le condizioni della prova e il controllo con Gemma

Astra ha avuto a disposizione 7.469 problemi GSM8K e 7.275 problemi MATH presi dai rispettivi insiemi di addestramento. Gli autori affermano che il sistema non ha visto i set finali usati per la valutazione. Le prove prevedevano budget di 10, 25 o 50 passaggi in avanti: per MATH-500, i risultati dopo 10 e 25 passaggi sono stati rispettivamente del 12,3% e del 14,1%, contro il 48,1% dopo 50.

Il confronto con Gemma 3 270M non ha mostrato un guadagno matematico accertato. Gli autori riportano un punteggio MATH-500 iniziale del 6,8% e un massimo del 7,7% dopo le modifiche; nel test, l’8,5% delle risposte di Gemma raggiungeva il limite di token, contro il 93% di Qwen prima della modifica. Gli autori descrivono Gemma come un modello che si bloccava raramente nei loop osservati.