Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab berichten, dass GPT-6 Astra bei Qwen3.5-0.8B 131.072 Gewichte veränderte. Nach 50 Vorwärtsdurchläufen stieg der MATH-500-Wert in ihrem Versuch von 7,9 auf 48,1 Prozent. Ihre Analyse deutet darauf hin, dass vor allem weniger Antworten in einer Wiederholungsschleife hängen blieben und abbrachen.
Was Astra an Qwen3.5-0.8B änderte
Die Autoren bezeichnen ihren Ansatz als „Weight-Space Programming“: Ein Sprachmodell analysiert und verändert dabei direkt die Gewichte eines neuronalen Netzes. Für den Qwen-Versuch nutzte GPT-6 Astra einen Python-Kernel, der auf die Gewichte zugreifen konnte. Die Bearbeitung lief ohne GPU und ohne Gradienteninformationen, wie sie beim üblichen gradientenbasierten Training verwendet werden.
Laut den Autoren betraf die Änderung jeweils 64 Ausgabespalten des MLP, also des Feed-forward-Teils des Netzes, in den Schichten 15 und 19. Insgesamt änderten sie 131.072 Gewichte. Das entspricht laut ihrer Angabe 0,016 Prozent der 0,8 Milliarden Gewichte des 24-schichtigen Modells.
Die berichteten Benchmarkwerte
Die Autoren veröffentlichten ihren Bericht am 2. November 2026. Die folgende Tabelle stellt die Ausgangswerte von Qwen3.5-0.8B den Ergebnissen nach 50 Vorwärtsdurchläufen gegenüber:
| Benchmark | Vor der Änderung | Nach 50 Vorwärtsdurchläufen |
| MATH-500 | 7,9 % | 48,1 % |
| GSM8K | 13,8 % | 67,1 % |
| IFEval | 21,0 % | 62,3 % |
Beim MATH-500-Wert beträgt der Unterschied zwischen den beiden angezeigten Ergebnissen 40,2 Prozentpunkte. Die Autoren berichten auch Werte für kleinere Budgets: Nach 10 Vorwärtsdurchläufen lag MATH-500 bei 12,3 Prozent, nach 25 bei 14,1 Prozent.
Warum der MATH-500-Wert stieg
Die Autoren führen den Anstieg vor allem darauf zurück, dass Qwen weniger in repetitiven Ausgabeschleifen stecken blieb. In ihrer Auswertung waren 576 von 579 Antworten, die nach der Änderung doch noch fertig wurden, zuvor abgeschnitten worden. Die aggregierte Genauigkeit bei Antworten, die bereits vor der Änderung abgeschlossen waren, blieb laut ihrer Analyse unverändert. Das passt zu einer Verbesserung beim Fertigstellen von Antworten, nicht zu einem nachgewiesenen Zuwachs an mathematischem Wissen.
Ein weiteres Maß für diesen Effekt: Der Anteil der MATH-500-Antworten, die das Limit von 32.768 Tokens erreichten, sank im Vergleich von 93,0 Prozent vor der Änderung auf 33,1 Prozent nach 50 Vorwärtsdurchläufen. Bei 10 und 25 Durchläufen lag dieser Anteil noch bei 87,2 beziehungsweise 86,4 Prozent.
Versuchsbedingungen und der Vergleich mit Gemma
Für die Bearbeitung konnte Astra auf 7.469 Aufgaben aus dem GSM8K-Trainingssatz und 7.275 Aufgaben aus dem MATH-Trainingssatz zurückgreifen. Die Autoren sagen, dass Astra die abschließenden Evaluationssätze nicht zu sehen bekam.
Bei Gemma 3 270M ließ sich laut den Autoren kein etablierter Zugewinn bei MATH-500 feststellen. Der Ausgangswert lag bei 6,8 Prozent; der höchste berichtete Wert nach einer Änderung betrug 7,7 Prozent. Gemma erreichte das Tokenlimit deutlich seltener als Qwen: bei 8,5 Prozent der Antworten gegenüber 93 Prozent bei Qwen.
