El 2 de noviembre de 2026, Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, afiliados a MIT CSAIL, describieron una edición de Qwen3.5-0.8B que elevó su puntuación en MATH-500 del 7,9 % al 48,1 % tras 50 pasadas hacia adelante. Los autores atribuyen el resultado principalmente a reducir bucles que impedían completar respuestas: su análisis indica que 576 de las 579 respuestas recuperadas se habían truncado antes.
Qué modificaron en Qwen3.5-0.8B
Los autores llamaron a su método Weight-Space Programming: un modelo de lenguaje analiza y modifica directamente los pesos de una red neuronal, sin recurrir para esos cambios a un ciclo convencional de entrenamiento. En este experimento, GPT-6 Astra operó sobre los pesos mediante un entorno de Python, sin GPU ni información de gradientes. Quien quiera conocer más sobre Astra puede leer el análisis previo de NeoTeo sobre el modelo.
La prueba usó Qwen3.5-0.8B en modo de razonamiento, con 24 capas y 800 millones de pesos. Según los autores, la edición modificó 64 columnas de salida de la red perceptrón multicapa (MLP) en cada una de las capas 15 y 19. En total fueron 131.072 pesos, equivalentes, según su cálculo, al 0,016 % del modelo.
Resultados reportados en tres benchmarks
Los autores comunicaron estas puntuaciones de Qwen3.5-0.8B antes de la edición y después de 50 pasadas hacia adelante:
| Benchmark | Antes de la edición | Después de 50 pasadas |
| MATH-500 | 7,9 % | 48,1 % |
| GSM8K | 13,8 % | 67,1 % |
| IFEval | 21,0 % | 62,3 % |
La diferencia entre las puntuaciones de MATH-500 es de 40,2 puntos porcentuales. El avance más marcado apareció con el presupuesto de 50 pasadas: en ese benchmark, los resultados fueron del 12,3 % tras 10 pasadas y del 14,1 % tras 25, antes de alcanzar el 48,1 % tras 50.
Qué explica el resultado de MATH-500
En el análisis de los autores, el 93,0 % de las respuestas iniciales de MATH-500 llegaba al límite de 32.768 tokens. Tras 50 pasadas de edición, la proporción bajó al 33,1 %. Aun así, se mantuvo en el 87,2 % con 10 pasadas y en el 86,4 % con 25.
Los autores señalan que 576 de las 579 respuestas recuperadas se habían quedado truncadas en la evaluación inicial. La precisión agregada de las respuestas que ya terminaban no cambió. El patrón apunta a que la edición permitió completar más respuestas; el salto de puntuación, por sí solo, no demuestra que Qwen adquiriera nuevos conocimientos matemáticos.
Condiciones de la prueba y control con Gemma
Para orientar las ediciones, Astra podía usar 7.469 problemas de entrenamiento de GSM8K y 7.275 de MATH. Los autores dicen que el modelo no tuvo acceso a los conjuntos finales de evaluación.
El resultado no se reprodujo como una mejora matemática establecida en Gemma 3 270M. En ese modelo, el 8,5 % de las respuestas alcanzó el límite de tokens, frente al 93,0 % de Qwen antes de la edición. La puntuación de Gemma en MATH-500 pasó del 6,8 % inicial a un máximo del 7,7 % tras las ediciones, un cambio que los autores no consideraron una mejora establecida.
