Les auteurs d’une étude menée au MIT rapportent que GPT-6 Astra a modifié les poids de Qwen3.5-0.8B pour réduire des boucles de raisonnement répétitives. Après 50 passes, le score du modèle au MATH-500 est passé de 7,9 % à 48,1 %. Ce résultat concerne une réparation ciblée, pas une amélioration démontrée de tous les modèles ni l’ajout d’une nouvelle compétence mathématique. Les chercheurs détaillent leur méthode et leurs résultats.
Pour replacer l’expérience dans le contexte du modèle, NeoTeo a déjà présenté GPT-6 Astra.
Une hausse de score après la correction d’une boucle mesure d’abord l’effet de cette réparation, pas l’acquisition d’une compétence nouvelle.
Comment Astra a modifié les poids de Qwen
Les chercheurs appellent Weight-Space Programming une méthode où un grand modèle de langage lit ou modifie directement les poids d’un réseau à partir d’un objectif formulé en langage naturel, sans optimiseur ni descente de gradient. Dans l’expérience sur Qwen, Astra s’est servi d’un outil Python pour examiner les poids et effectuer des passes avant, qui consistent à faire produire des résultats au modèle. Il n’y a eu ni entraînement ni information de gradient, et aucun GPU n’a été utilisé.
Les chercheurs ont accordé à Astra 10, 25 ou 50 passes avant sur des exercices d’entraînement de GSM8K et de MATH. Les jeux de données utilisés pour l’évaluation lui ont été cachés. Dans l’essai de 50 passes, Astra a modifié 131 072 poids, soit 0,016 % des quelque 800 millions de poids de Qwen3.5-0.8B. Les changements portaient sur des colonnes de sortie des couches 15 et 19.
Les résultats de Qwen selon le nombre de passes
Les auteurs rapportent des résultats différents selon le nombre de passes. Le tableau présente les scores et la part des réponses au MATH-500 qui atteignaient la limite de 32 768 jetons.
| Condition de Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | Réponses MATH-500 atteignant la limite de 32 768 jetons |
| Modèle de base | 7,9 % | 13,8 % | 21,0 % | 93,0 % |
| Modèle modifié, 10 passes | 12,3 % | 25,7 % | 49,0 % | 87,2 % |
| Modèle modifié, 25 passes | 14,1 % | 25,1 % | 39,9 % | 86,4 % |
| Modèle modifié, 50 passes | 48,1 % | 67,1 % | 62,3 % | 33,1 % |
Les auteurs attribuent les mauvais résultats initiaux de Qwen à des boucles répétitives qui empêchaient le modèle de terminer ses réponses. Dans l’essai à 50 passes, la proportion de réponses MATH-500 atteignant la limite de jetons est passée de 93,0 % à 33,1 %. Les chercheurs décrivent l’intervention comme une réduction de ce problème, et non comme l’apprentissage de nouvelles capacités mathématiques.
La comparaison avec Gemma ne révèle pas de gain établi
Les chercheurs ont aussi essayé la méthode sur Gemma 3 270M, un modèle qu’ils décrivent comme bouclant rarement. Son score MATH-500 était de 6,8 % avant modification, puis de 7,0 %, 7,6 %, 7,7 % et 7,0 % après des essais de 5, 10, 25 et 50 passes. Les auteurs estiment que ces écarts ne constituent pas un gain établi.
Cette comparaison donne une indication importante sur la portée du résultat de Qwen : la hausse spectaculaire observée dans cet essai s’inscrit dans une réparation associée à un défaut précis. Elle ne suffit pas à conclure que l’édition des poids améliore de façon fiable un modèle qui ne présente pas ce type de boucles.
Les autres expériences donnent des résultats variés
Les chercheurs rapportent également des tests de lecture, d’écriture et de réparation sur de petits réseaux. Astra a identifié quatre politiques de jeu à partir de leurs poids, mais a confondu des formes remplies avec des contours dans un autre test. Il a aussi examiné des blocs de modèles de langage sans exécuter ces réseaux et modifié une politique de contrôle automobile simulée. Ces expériences n’utilisaient pas toutes les mêmes outils ni les mêmes accès au modèle.
Dans un test portant sur la détection de modèles complaisants, Astra n’a pas réussi à distinguer les modèles à partir de leurs poids seuls. Il a pu identifier le modèle concerné lorsque les chercheurs lui ont aussi fourni les motifs d’attention issus de ses propres sondages.