Qwen3.5-0.8B : les auteurs relient le score aux réponses tronquées

Dans un billet publié le 2 novembre 2026, Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, affiliés à MIT CSAIL, rapportent que l’édition de 131 072 poids de Qwen3.5-0.8B par GPT-6 Astra a accompagné une hausse du score MATH-500, de 7,9 % à 48,1 % après 50 passes avant. Les auteurs relient surtout ce résultat à la réduction des réponses interrompues : 576 des 579 sorties récupérées avaient été tronquées auparavant.

Ce que l’édition a modifié

Les auteurs appellent leur approche « Weight-Space Programming » : GPT-6 Astra analyse et modifie directement les poids d’un réseau neuronal. Pour cette expérience, le modèle a utilisé un noyau Python, sans GPU, information de gradient ni boucle d’entraînement classique. Les auteurs décrivent une soustraction d’une direction associée aux sorties répétitives.

L’édition a touché 64 colonnes de sortie du MLP, ou perceptron multicouche, dans chacune des couches 15 et 19 de Qwen3.5-0.8B. Selon les auteurs, les 131 072 poids modifiés représentent 0,016 % des 0,8 milliard de poids du modèle, qui compte 24 couches.

Les résultats rapportés aux benchmarks

Les auteurs ont comparé les scores de Qwen3.5-0.8B avant l’édition à ceux obtenus après 50 passes avant. GSM8K évalue des problèmes de mathématiques, tandis qu’IFEval mesure le suivi d’instructions.

L’écart entre les deux scores affichés pour MATH-500 est de 40,2 points de pourcentage. Dans l’analyse des auteurs, 576 des 579 sorties récupérées avaient été tronquées à l’origine; l’exactitude agrégée des réponses qui étaient déjà terminées est, elle, restée inchangée. Le résultat correspond donc surtout à davantage de réponses menées à leur terme, plutôt qu’à un gain démontré de connaissances mathématiques.

Conditions du test et contrôle avec Gemma

GPT-6 Astra a disposé de 7 469 problèmes issus de l’entraînement de GSM8K et de 7 275 problèmes d’entraînement de MATH, mais les auteurs indiquent qu’il n’a pas vu les jeux d’évaluation finaux. Ils ont testé des budgets de 10, 25 ou 50 passes avant. Sur MATH-500, le score rapporté était de 12,3 % après 10 passes et de 14,1 % après 25. Dans la comparaison entre Qwen non modifié et le résultat après 50 passes, la part des réponses atteignant la limite de 32 768 tokens est passée de 93,0 % à 33,1 %.

Le contrôle sur Gemma 3 270M n’a pas produit de gain mathématique établi selon les auteurs. Le modèle atteignait rarement la limite de tokens : 8,5 % de ses réponses y parvenaient. Son score MATH-500 était de 6,8 % au départ et atteignait au maximum 7,7 % après les modifications, une variation que les auteurs n’ont pas considérée comme un gain établi.