Investigadores afiliados a MIT CSAIL informaron el 2 de noviembre de 2026 de que GPT-6 Astra había modificado 131.072 pesos de Qwen3.5-0.8B, el 0,016 % del modelo. En la prueba con 50 pasadas, la puntuación de MATH-500 subió del 7,9 % al 48,1 %. Los autores atribuyeron el avance a la reducción de bucles repetitivos que impedían completar respuestas, no a la incorporación de nuevos conocimientos matemáticos. El método y los resultados aparecen en la entrada de investigación de Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab.
La puntuación de MATH-500 corresponde a una prueba concreta de Qwen3.5-0.8B, con el modo de pensamiento activado y un presupuesto de 50 pasadas.
Qué modificó GPT-6 Astra en Qwen3.5-0.8B
Los autores llamaron weight-space programming a la edición directa de los pesos de una red neuronal a partir de una instrucción en lenguaje natural, sin usar descenso del gradiente para calcular los cambios. En Qwen3.5-0.8B, Astra modificó 64 columnas de salida MLP en cada una de las capas 15 y 19. El modelo tiene 24 capas y alrededor de 800 millones de pesos.
Cómo fue el ensayo con Qwen
Astra trabajó con un entorno de Python sobre los pesos, sin GPU. Pudo escoger ejercicios de práctica de los conjuntos de entrenamiento de GSM8K y MATH: 7.469 y 7.275 problemas, respectivamente. Los investigadores probaron presupuestos de 10, 25 y 50 pasadas por el modelo; Astra no recibió los conjuntos de evaluación. Cada pasada podía procesar hasta 512 problemas o leer hasta 1.024 textos.
Un vídeo en inglés repasa visualmente el concepto de edición de pesos y el experimento con Qwen3.5-0.8B.
Cómo variaron los resultados con cada presupuesto
Los autores informaron de resultados en MATH-500 y GSM8K, dos pruebas de matemáticas, e IFEval, una evaluación del seguimiento de instrucciones. También midieron qué proporción de respuestas de MATH-500 alcanzó el límite de 32.768 tokens. El ensayo mantuvo activado el modo de pensamiento.
| Condición de Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | Respuestas de MATH-500 que alcanzaron 32.768 tokens |
| Sin editar | 7,9 % | 13,8 % | 21,0 % | 93,0 % |
| Editado, 10 pasadas | 12,3 % | 25,7 % | 49,0 % | 87,2 % |
| Editado, 25 pasadas | 14,1 % | 25,1 % | 39,9 % | 86,4 % |
| Editado, 50 pasadas | 48,1 % | 67,1 % | 62,3 % | 33,1 % |
El cambio más acusado apareció con 50 pasadas. Con 10 y 25, la proporción de respuestas de MATH-500 que llegó al límite siguió cerca del 93,0 % del modelo sin editar; con 50 bajó al 33,1 %. Las cifras de la tabla son resultados comunicados por los autores.
La mejora se centró en completar respuestas
Según la interpretación de los investigadores, Qwen ya podía resolver más problemas, pero sus respuestas repetitivas se prolongaban hasta agotar el límite de salida. La edición habría reducido ese obstáculo y permitido terminar más respuestas. En una prueba distinta con Gemma 3 270M, el método no estableció una mejora en MATH-500.
El resultado se refiere a Qwen3.5-0.8B y a las evaluaciones descritas por los autores. Astra modificó un modelo distinto y más pequeño, no sus propios pesos. Los investigadores plantearon la mejora recursiva como una posible dirección futura, pero el ensayo con Qwen no probó un ciclo de autoedición.
