Quatro pesquisadores afiliados ao MIT CSAIL relataram que o GPT-6 Astra editou os pesos do Qwen3.5-0.8B para reduzir respostas que entravam em repetição. No teste com 50 passagens de execução do modelo, a pontuação no MATH-500 passou de 7,9% para 48,1%, segundo os autores do experimento, em texto publicado em 2 de novembro de 2026.
O maior resultado relatado veio junto de uma queda acentuada nas respostas que atingiam o limite de tokens.
O que mudou no Qwen3.5-0.8B
Os pesquisadores disseram ter alterado 131.072 pesos, ou 0,016% dos cerca de 800 milhões do Qwen3.5-0.8B. As mudanças atingiram 64 colunas de saída da rede MLP em cada uma das camadas 15 e 19. Os autores associaram a edição a uma direção numérica ligada a respostas repetitivas.
Peso é um valor numérico que determina a força das conexões de uma rede neural. Os autores chamaram de weight-space programming o uso de um modelo de linguagem para ler ou modificar esses valores a partir de uma instrução em linguagem natural, sem recorrer à descida do gradiente, método comum de otimização no treinamento de modelos.
Como o teste foi feito
No experimento com Qwen, o GPT-6 Astra trabalhou com um kernel Python sobre os pesos, sem GPU, e pôde executar o modelo em problemas de prática. Os pesquisadores permitiram 10, 25 ou 50 passagens. As questões vinham de conjuntos de treinamento: 7.469 exemplos do GSM8K e 7.275 do MATH. O Astra não recebeu os conjuntos usados para avaliar os resultados.
Esse procedimento não foi uma leitura de pesos brutos sem execução do modelo. Os autores também descreveram testes separados com redes menores que usaram pesos brutos sem ferramentas ou passagens de execução; eram experimentos diferentes do teste do Qwen.
Os resultados variaram com o número de passagens
Os pesquisadores avaliaram o Qwen com o modo de pensamento ativado e um limite de 32.768 tokens. A tabela reúne as pontuações e a porcentagem de respostas do MATH-500 que chegaram a esse limite em cada condição.
| Condição do Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | Respostas do MATH-500 no limite de tokens |
| Modelo-base | 7,9% | 13,8% | 21,0% | 93,0% |
| Editado, 10 passagens | 12,3% | 25,7% | 49,0% | 87,2% |
| Editado, 25 passagens | 14,1% | 25,1% | 39,9% | 86,4% |
| Editado, 50 passagens | 48,1% | 67,1% | 62,3% | 33,1% |
O salto mais expressivo apareceu na condição de 50 passagens. Nas condições de 10 e 25, a proporção de respostas do MATH-500 que atingiu o limite continuou próxima da registrada no modelo-base. Os valores são resultados relatados pelos pesquisadores para essas condições específicas.
A interpretação dos autores e o alcance do teste
Os autores atribuíram a maior parte da melhora à redução dos loops de raciocínio, que faziam o Qwen repetir conteúdo até esgotar o limite de saída. Na interpretação deles, a edição ajudou o modelo a concluir respostas que já conseguia resolver, em vez de acrescentar conhecimento matemático.
Em uma tentativa separada com Gemma 3 270M, os pesquisadores relataram pontuações no MATH-500 de 6,8% para o modelo-base e de 7,0%, 7,6%, 7,7% e 7,0% após 5, 10, 25 e 50 passagens. Eles disseram que a sequência não demonstrou uma melhora. As configurações de amostragem e os limites de tokens dessa tentativa eram diferentes dos usados no teste do Qwen.
O experimento descrito editou o Qwen3.5-0.8B; não incluiu uma edição dos próprios pesos do Astra. No texto publicado em 2 de novembro de 2026, os autores trataram o autoaperfeiçoamento recursivo como uma possibilidade futura.
