Am 2. November 2026 berichteten MIT-CSAIL-Autoren, GPT-6 Astra habe die Gewichte von Qwen3.5-0.8B bearbeitet. Im Versuch mit 50 Vorwärtsdurchläufen stieg der MATH-500-Wert von 7,9 auf 48,1 Prozent. Die Autoren führen den größten Teil des Sprungs darauf zurück, dass Qwen weniger in Wiederholungsschleifen geriet und mehr Antworten fertigstellen konnte.
Wie GPT-6 Astra die Qwen-Gewichte bearbeitete
Die Autoren nennen ihren Ansatz „Weight-Space Programming“: Ein Sprachmodell analysiert und verändert Netzwerkgewichte, ohne für den Eingriff Gradienten oder einen Trainingsloop zu verwenden. Bei Qwen3.5-0.8B nutzte Astra dafür einen Python-Kernel, Beispieldaten und wiederholte Modellläufe. Es war also keine Bearbeitung durch bloßes Betrachten der Gewichte.
Laut den Autoren zog Astra eine mit Wiederholungen verbundene Richtung von jeweils 64 Ausgabespalten in den MLPs der Layer 15 und 19 ab. MLPs sind Teilnetze innerhalb des Modells. Der Eingriff veränderte insgesamt 131.072 Gewichte, etwa 0,016 Prozent des rund 0,8 Milliarden Gewichte umfassenden Modells.
Welche Bedingungen für das Ergebnis galten
Astra konnte einen Python-Kernel ohne GPU verwenden. Als Übungsmaterial standen 7.469 Beispiele aus dem GSM8K-Trainingssatz und 7.275 aus dem MATH-Trainingssatz bereit; laut den Autoren erhielt Astra nicht die Evaluationssätze. Für die Bearbeitung testeten sie Budgets von 10, 25 und 50 Vorwärtsdurchläufen. Ein Vorwärtsdurchlauf führt eine Eingabe durch das Modell und erzeugt eine Ausgabe.
Der MATH-500-Wert lag nach 10 Durchläufen bei 12,3 Prozent und nach 25 bei 14,1 Prozent. Erst mit 50 Durchläufen erreichte er 48,1 Prozent. Auch der Anteil der MATH-500-Antworten, die das Ausgabelimit von 32.768 Tokens erreichten, sank in dieser letzten Bedingung deutlich.
Die berichteten Werte für Qwen3.5-0.8B
| Messgröße | Vor dem Eingriff | Nach dem Eingriff, 50 Durchläufe |
| MATH-500 | 7,9 % | 48,1 % |
| GSM8K | 13,8 % | 67,1 % |
| IFEval | 21,0 % | 62,3 % |
| MATH-500-Antworten am 32.768-Token-Limit | 93,0 % | 33,1 % |
Für MATH-500 entspricht der Sprung 40,2 Prozentpunkten. Die Autoren berichten außerdem von 579 geretteten und fünf schlechteren Ausgaben. 576 der geretteten Antworten waren zuvor abgeschnitten; bei Antworten, die schon vorher vollständig waren, blieb die Genauigkeit unverändert. Das passt zu ihrer Erklärung, dass der Eingriff vor allem eine Hürde beim Fertigstellen der Antworten verringerte.
Der höhere Benchmark-Wert belegt damit nicht, dass Qwen neues mathematisches Wissen erworben hat. Er zeigt das Ergebnis für dieses Modell und die getesteten Bedingungen. Die Autoren etablierten bei Gemma 3 270M keinen mathematischen Zugewinn: Der Ausgangswert auf MATH-500 lag bei 6,8 Prozent, die bearbeiteten Varianten erreichten je nach Durchlaufbudget 7,0 bis 7,7 Prozent. Dort traten Wiederholungsschleifen in den Tests selten auf.
