Os autores de um estudo relatam que GPT-6 Astra usou um kernel Python e até 50 passagens de inferência para editar os pesos do Qwen3.5-0.8B. Na rodada de 50 passagens, a pontuação do MATH-500 foi de 7,9% para 48,1%, segundo os pesquisadores do MIT. O resultado está ligado a um reparo específico de respostas que entravam em loop.
A melhora relatada acompanha a redução de uma falha que impedia o Qwen de concluir respostas; ela não demonstra que a edição ensine matemática a outros modelos.
Como Astra editou os pesos do Qwen
Os pesquisadores chamam a abordagem de Weight-Space Programming: um modelo de linguagem lê ou altera diretamente os pesos de uma rede neural em função de um objetivo em linguagem natural, sem usar descida do gradiente. No experimento com Qwen, Astra analisou os pesos com um kernel Python, sem GPU, treinamento ou informações de gradiente.
A equipe deu ao modelo 7.469 problemas de prática do GSM8K e 7.275 do conjunto de treinamento do MATH. Astra podia fazer 10, 25 ou 50 passagens pelo modelo; os conjuntos usados na avaliação ficaram de fora. Uma passagem é uma execução do modelo para observar sua resposta e orientar a análise. Na rodada mais longa, os autores dizem que Astra alterou 131.072 pesos — 0,016% dos 0,8 bilhão do Qwen3.5-0.8B — em colunas de saída das camadas 15 e 19.
Os resultados do Qwen variaram conforme as passagens
Na comparação relatada pelos autores, a rodada de 50 passagens teve os maiores resultados nas três métricas. A proporção de respostas do MATH-500 que chegou ao limite de 32.768 tokens também caiu em relação ao modelo-base, embora ainda fosse de 33,1%.
| Condição do Qwen3.5-0.8B | MATH-500 (%) | GSM8K (%) | IFEval (%) | Respostas do MATH-500 no limite de 32.768 tokens (%) |
| Modelo-base | 7,9 | 13,8 | 21,0 | 93,0 |
| Edição, 10 passagens | 12,3 | 25,7 | 49,0 | 87,2 |
| Edição, 25 passagens | 14,1 | 25,1 | 39,9 | 86,4 |
| Edição, 50 passagens | 48,1 | 67,1 | 62,3 | 33,1 |
Os autores atribuem o resultado principalmente a loops de raciocínio repetitivos que impediam o Qwen de terminar respostas. Eles descrevem a edição como uma forma de reduzir essa falha, não de acrescentar habilidade matemática. O padrão dos dados também importa: nos testes com 10 e 25 passagens, os resultados no MATH-500 foram 12,3% e 14,1%, e a parcela de respostas que atingiu o limite de tokens permaneceu em 87,2% e 86,4%.
O teste com Gemma 3 270M não estabeleceu melhora
No Gemma 3 270M, que os autores descrevem como um modelo que raramente entra em loop, as pontuações do MATH-500 foram 6,8% no modelo-base e 7,0%, 7,6%, 7,7% e 7,0% após edições com 5, 10, 25 e 50 passagens. Os pesquisadores dizem que essa variação não estabelece um ganho. O contraste limita o alcance do resultado do Qwen: corrigir um comportamento repetitivo que bloqueia uma resposta não equivale a ensinar uma capacidade nova.
Outros testes tiveram resultados diferentes
Os autores também relatam experimentos de leitura, escrita e reparo de redes menores. Astra identificou quatro políticas de jogos a partir dos pesos e analisou blocos de modelos de linguagem sem executá-los. Em outro teste, reconheceu formas geradas por redes, mas confundiu formas preenchidas com contornos. A equipe relata ainda um reparo de uma política de controle de carro simulado e a criação de redes para jogos; os resultados variaram conforme a tarefa.
Um teste sobre comportamento bajulador mostra outra fronteira: Astra não distinguiu de modo confiável os modelos apenas pelos pesos. Identificou o modelo que seguia sugestões erradas dos usuários quando recebeu também padrões de atenção obtidos por sondagens.