Autores ligados ao MIT CSAIL relataram que GPT-6 Astra alterou os pesos do Qwen3.5-0.8B e que, na condição de 50 passagens pelo modelo, a pontuação no MATH-500 subiu de 7,9% para 48,1%. Eles atribuem a maior parte do avanço à redução de respostas repetitivas que antes impediam o Qwen de concluir algumas soluções.
Como foi feita a edição
Os autores chamam a abordagem de Weight-Space Programming: um modelo de linguagem analisa e modifica os pesos, os valores numéricos que influenciam as saídas de outro modelo, sem usar gradientes ou um ciclo de treinamento para calcular a alteração. No caso do Qwen, porém, a análise não se limitou a olhar os pesos. Astra usou um kernel em Python e executou o modelo repetidas vezes.
A alteração subtraiu uma direção associada à repetição de 64 colunas de saída das MLPs nas camadas 15 e 19. No total, foram modificados 131.072 pesos, cerca de 0,016% dos aproximadamente 800 milhões do Qwen3.5-0.8B.
O orçamento de execução mudou o resultado
O experimento usou um kernel Python sem GPU, exemplos de prática dos conjuntos de treinamento e passagens forward, isto é, execuções do modelo para produzir saídas. Os autores disponibilizaram a Astra 7.469 exemplos de GSM8K e 7.275 de MATH; segundo eles, os conjuntos de avaliação não foram fornecidos ao sistema. A edição não usou gradientes nem um ciclo de treinamento, mas exigiu dados e execuções do Qwen.
Os autores testaram orçamentos de 10, 25 e 50 passagens. No MATH-500, as duas primeiras condições chegaram a 12,3% e 14,1%, respectivamente, bem abaixo dos 48,1% registrados com 50 passagens. A proporção de respostas do MATH-500 que atingiu o limite de 32.768 tokens foi de 93,0% antes da edição, 87,2% após 10 passagens e 86,4% após 25.
As métricas relatadas para o Qwen3.5-0.8B
Na condição de 50 passagens, os autores relataram estas pontuações e a proporção de respostas que atingiu o limite de saída:
| Métrica | Antes da edição | Edição, 50 passagens |
| MATH-500 | 7,9% | 48,1% |
| GSM8K | 13,8% | 67,1% |
| IFEval | 21,0% | 62,3% |
| Respostas do MATH-500 no limite de 32.768 tokens | 93,0% | 33,1% |
Na análise dos resultados, os autores contabilizaram 579 respostas recuperadas e cinco regressões. Entre as respostas recuperadas, 576 haviam sido truncadas antes da edição; a acurácia das respostas que já eram concluídas permaneceu igual. Esse padrão sustenta a interpretação de que a mudança permitiu terminar mais respostas, sem demonstrar que o modelo adquiriu conhecimento matemático novo.
O que o teste com Gemma acrescenta
No Gemma 3 270M, que raramente entrava em ciclos repetitivos nesse experimento, os autores não estabeleceram ganho em matemática. A pontuação no MATH-500 foi de 6,8% antes da edição e ficou entre 7,0% e 7,7% nas condições editadas: 7,0% após 5 passagens, 7,6% após 10, 7,7% após 25 e 7,0% após 50. O contraste delimita o resultado do Qwen: a melhora relatada acompanhou a correção de um problema de repetição presente naquele modelo e naquela avaliação.
