En un trabajo publicado el 2 de noviembre de 2026, autores del MIT describieron cómo GPT-6 Astra modificó los pesos de Qwen3.5-0.8B. En la condición de 50 pasadas, la puntuación del modelo en MATH-500 subió del 7,9 % al 48,1 %. Los autores atribuyen el cambio, sobre todo, a reducir respuestas repetitivas que impedían terminar algunos ejercicios.
Qué cambió en Qwen3.5-0.8B
Los autores llamaron Weight-Space Programming a su método para analizar y modificar los pesos de una red a partir de un objetivo expresado en lenguaje natural, sin usar gradientes ni un ciclo de entrenamiento para calcular la edición. En Qwen3.5-0.8B, GPT-6 Astra trabajó con un kernel de Python y ejecutó el modelo para probar sus respuestas: no fue una inspección de pesos sin ejecutar Qwen.
La intervención restó una dirección asociada a las repeticiones de 64 columnas de salida de las capas 15 y 19. El cambio afectó a 131.072 pesos, alrededor del 0,016 % de los cerca de 800 millones del modelo.
Las condiciones detrás de las puntuaciones
El experimento puso a disposición de Astra 7.469 ejemplos de entrenamiento de GSM8K y 7.275 de MATH. Los autores probaron tres presupuestos: 10, 25 y 50 pasadas hacia delante, es decir, ejecuciones del modelo usadas para evaluar la edición. El kernel de Python no utilizó GPU.
El resultado de MATH-500 dependió del número de pasadas: con 10, la puntuación fue del 12,3 %; con 25, del 14,1 %; y con 50, del 48,1 %. En las dos condiciones más cortas, el 87,2 % y el 86,4 % de las respuestas, respectivamente, llegó al límite de 32.768 tokens. Con 50 pasadas, esa proporción bajó al 33,1 %.
Qué muestran las métricas
En la condición de 50 pasadas, los autores también registraron subidas en GSM8K e IFEval. La tabla recoge las puntuaciones iniciales y las obtenidas después de esa edición; en MATH-500 incluye además la proporción de respuestas que alcanzó el límite de tokens.
| Métrica | Antes de la edición | Después de 50 pasadas |
| MATH-500 | 7,9 % | 48,1 % |
| GSM8K | 13,8 % | 67,1 % |
| IFEval | 21,0 % | 62,3 % |
| Respuestas de MATH-500 que llegaron al límite de 32.768 tokens | 93,0 % | 33,1 % |
Para MATH-500, la diferencia entre las puntuaciones fue de 40,2 puntos porcentuales. Los autores describieron 579 respuestas como rescatadas y cinco como regresiones; 576 de las respuestas rescatadas se habían truncado antes. La precisión en las respuestas que ya se completaban no cambió. Su interpretación es que la edición ayudó a Qwen a terminar soluciones que ya podía producir, al reducir los bucles de repetición.
El resultado con Gemma acota la interpretación
En la prueba con Gemma 3 270M, que rara vez entraba en esos bucles, MATH-500 partió del 6,8 % y las condiciones editadas quedaron entre el 7,0 % y el 7,7 %. Los autores no establecieron una mejora matemática para ese modelo, lo que encaja con su explicación: corregir un obstáculo que impide completar respuestas no equivale a añadir una capacidad matemática nueva.
