Dans un billet publié le 2 novembre 2026, Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, affiliés au MIT CSAIL, décrivent comment GPT-6 Astra a modifié les poids de Qwen3.5-0.8B. Pour l’essai le plus concluant, ils rapportent un score de 48,1 % sur MATH-500 après 50 passes, contre 7,9 % pour le modèle de base. Ils attribuent surtout cette hausse à la réduction de boucles de réponses répétitives. Le billet de recherche des auteurs présente cette méthode comme de la « programmation dans l’espace des poids ».
Une hausse de score après la réduction de réponses répétitives ne signifie pas, à elle seule, que le modèle a acquis de nouvelles connaissances en mathématiques.
Comment les chercheurs ont procédé
Pour l’expérience Qwen, Astra disposait d’un noyau Python pour examiner et modifier les poids, sans GPU. Les chercheurs lui ont permis d’effectuer 10, 25 ou 50 passes avant, c’est-à-dire des exécutions du modèle sur des exercices. Les exemples provenaient de jeux d’entraînement : 7 469 problèmes GSM8K et 7 275 problèmes MATH. Astra n’a pas eu accès aux jeux d’évaluation. Le mode de réflexion de Qwen était activé.
La modification a touché 64 colonnes de sortie des MLP dans chacune des couches 15 et 19 du modèle. Au total, les chercheurs rapportent 131 072 poids modifiés, soit 0,016 % des quelque 0,8 milliard de poids de Qwen3.5-0.8B, un modèle de 24 couches. Ils indiquent avoir soustrait une direction associée aux réponses répétitives.
Les résultats varient selon le nombre de passes
Les scores ci-dessous sont ceux que les chercheurs rapportent pour chaque budget de passes. La dernière colonne indique la part des réponses de MATH-500 ayant atteint la limite de 32 768 tokens.
| Condition de Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | Réponses MATH-500 à la limite de 32 768 tokens |
| Modèle de base | 7,9 % | 13,8 % | 21,0 % | 93,0 % |
| Édition, 10 passes | 12,3 % | 25,7 % | 49,0 % | 87,2 % |
| Édition, 25 passes | 14,1 % | 25,1 % | 39,9 % | 86,4 % |
| Édition, 50 passes | 48,1 % | 67,1 % | 62,3 % | 33,1 % |
Le changement le plus marqué apparaît après 50 passes. Avec 10 ou 25 passes, la part des réponses MATH-500 atteignant la limite de tokens restait respectivement à 87,2 % et 86,4 %. Les scores ne progressaient pas non plus de façon régulière à chaque étape : par exemple, le résultat GSM8K était de 25,7 % à 10 passes, puis de 25,1 % à 25.
Une réparation de boucles, selon les auteurs
Les chercheurs interprètent le résultat comme une réduction des boucles qui empêchaient Qwen de terminer certaines réponses, plutôt que comme l’ajout de connaissances mathématiques. La baisse de la part des réponses atteignant la limite de tokens accompagne cette interprétation.
L’essai mené sur Gemma 3 270M n’a pas établi de gain en mathématiques. Son score de base sur MATH-500 était de 6,8 %; les éditions testées ont produit des scores allant jusqu’à 7,7 %. Gemma atteignait rarement sa limite de tokens dans cette comparaison, et ses paramètres d’échantillonnage différaient de ceux de Qwen.
L’expérience a porté sur Qwen3.5-0.8B, un modèle distinct de GPT-6 Astra. Les chercheurs évoquent l’auto-amélioration récursive comme une piste future; leur essai n’a pas testé un cycle dans lequel Astra modifierait ses propres poids.
