Os autores de um experimento com o Qwen3.5-0.8B atribuem a alta no MATH-500 principalmente à redução de respostas truncadas: após editar 131.072 pesos, o modelo passou de 7,9% para 48,1% no benchmark, segundo os resultados que publicaram. Na análise deles, 576 das 579 respostas recuperadas haviam sido interrompidas antes de terminar, enquanto a precisão das respostas que já eram concluídas permaneceu inalterada.
O que mudou no Qwen3.5-0.8B
Em uma publicação de 2 de novembro de 2026, Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, afiliados ao MIT CSAIL, descreveram a abordagem que chamaram de Weight-Space Programming. Em vez de ajustar o modelo com um ciclo convencional de treinamento baseado em gradientes, GPT-6 Astra analisou e alterou diretamente pesos da rede.
No Qwen3.5-0.8B, um modelo de 24 camadas executado em modo de raciocínio, a edição de 50 passagens afetou 64 colunas de saída da rede MLP em cada uma das camadas 15 e 19. Os autores contabilizaram 131.072 pesos alterados, equivalentes, segundo eles, a 0,016% do modelo. A mudança subtraiu uma direção associada à repetição de saídas.
Os resultados relatados nos benchmarks
Os autores relataram os seguintes resultados antes da edição e após 50 passagens para frente, isto é, execuções do modelo durante o experimento:
| Benchmark | Qwen3.5-0.8B antes da edição | Qwen3.5-0.8B após 50 passagens |
| MATH-500 | 7,9% | 48,1% |
| GSM8K | 13,8% | 67,1% |
| IFEval | 21,0% | 62,3% |
A diferença entre os valores exibidos para o MATH-500 é de 40,2 pontos percentuais. No mesmo benchmark, a pontuação chegou a 12,3% após 10 passagens e a 14,1% após 25; o salto maior veio no teste de 50 passagens.
Por que a pontuação do MATH-500 subiu
A análise dos autores aponta para a conclusão das respostas, não para uma melhora demonstrada no conhecimento matemático do modelo. Das 579 respostas que a edição teria recuperado, 576 haviam sido truncadas originalmente. A precisão agregada das respostas que já terminavam permaneceu igual.
O padrão também aparece na taxa de respostas que atingiram o limite de 32.768 tokens no MATH-500. Ela caiu de 93,0% no modelo original para 87,2% após 10 passagens, 86,4% após 25 e 33,1% após 50. A leitura dos autores é que reduzir os ciclos repetitivos permitiu que mais respostas chegassem ao fim.
Condições do teste e controle com Gemma
Astra trabalhou com um ambiente Python para acessar os pesos, sem GPU nem informações de gradiente. Para orientar as edições, pôde usar 7.469 problemas dos conjuntos de treinamento do GSM8K e 7.275 do MATH. Os autores afirmam que o sistema não teve acesso aos conjuntos finais de avaliação.
O resultado não se repetiu como ganho estabelecido no controle com Gemma 3 270M, que raramente chegava ao limite de tokens. Nesse modelo, os autores relataram 6,8% no MATH-500 antes das edições e um máximo de 7,7% depois delas; não consideraram esse aumento uma melhora matemática estabelecida.
