OpenAI veröffentlichte am 19. Oktober 2026 Ergebnisse aus zwei getrennten Coding-Evaluationen: MultiLangBench prüft den Aufbau einer SQLite-kompatiblen Datenbank-Engine in 20 Programmiersprachen, eine zweite Evaluation die Migration von COBOL-Programmen bei erhaltenem Verhalten. Für GPT-6 Astra meldete OpenAI im ersten Test eine durchschnittliche Bestehensquote von 87,4 Prozent. Im COBOL-Test erreichte GPT-6.1 Sol laut OpenAI bei niedrigem Reasoning-Aufwand eine Genauigkeit von 86,6 Prozent.
MultiLangBench prüft den Aufbau einer Datenbank-Engine
Bei MultiLangBench soll ein Modell von Grund auf eine Datenbank-Engine entwickeln, die mit SQLite kompatibel ist. OpenAI beschreibt eine Prüfung mit einer Ausgangsdatenbank und einer SQL-Abfrage: Das Modell liefert eine veränderte Datenbank zurück, deren Inhalte anschließend eine SQLite-Referenzimplementierung mit den erwarteten Ergebnissen vergleicht. Die Tests wurden nach OpenAI-Angaben aus der bestehenden SQLite-Testsuite abgeleitet. Gemessen werden die Bestehensquote und die API-Kosten über eine längere Coding-Sitzung.
Über 20 Programmiersprachen hinweg meldete OpenAI für GPT-6 Astra bei maximalem Reasoning-Aufwand durchschnittlich 87,4 Prozent, für GPT-5.6 Sol 26,8 Prozent. Das entspricht einem Abstand von 60,6 Prozentpunkten, berechnet aus den beiden gemeldeten Werten. OpenAI zufolge lag GPT-6 Astra in 19 der 20 Sprachen über 83 Prozent; COBOL war mit 72,1 Prozent die schwierigste Sprache.
GPT-6 Luna erreichte laut OpenAI bei maximalem Reasoning-Aufwand eine durchschnittliche Bestehensquote von 40,3 Prozent. Die geschätzten API-Kosten der Auswertung lagen bei durchschnittlich 0,77 US-Dollar pro Sample für GPT-6 Luna und 3,48 US-Dollar für GPT-5.6 Sol. Diese Beträge beziehen sich auf die Evaluation. Für den breiteren Kontext zu GPT-6 Astra bietet NeoTeos frühere Einordnung des Modells zusätzliche Hintergründe.
Der COBOL-Test bewertet erhaltenes Programmverhalten
Die separate Evaluation prüft, ob sich COBOL-Programme nach C++, Java, Kotlin, Python oder Rust übertragen lassen, ohne ihr beobachtbares Verhalten zu verändern. OpenAI zufolge verlangen verborgene Tests eine bytegenaue Übereinstimmung der beobachtbaren Ausgaben. Eine Migration gilt nur dann als erfolgreich, wenn alle Tests bestanden sind.
| Modell | Reasoning-Aufwand | Genauigkeit laut OpenAI |
| GPT-6.1 Sol | niedrig | 86,6 % |
| GPT-6.1 Sol | höher | 97,9 % |
| GPT-5.6 Sol | niedrig | 5,4 % |
Bei niedrigem Reasoning-Aufwand beträgt der Abstand zwischen GPT-6.1 Sol und GPT-5.6 Sol 81,2 Prozentpunkte. Auch das ist eine Rechnung aus OpenAIs berichteten Werten, keine zusätzliche Messung. Die Genauigkeit dieser Migrationsevaluation ist eine andere Kennzahl als die Bestehensquote von MultiLangBench.
Ein Creator-Test verwendete eigene Coding-Aufgaben
In einem am 6. September 2026 veröffentlichten Video berichtete Povilas von AI Coding Daily über 20 von 20 Punkten für GPT-6 Astra in vier eigenen Coding-Projekten. Seine Aufgaben umfassten unter anderem Datensynchronisierung, Sonderfälle und Konflikte zwischen mehreren Geräten. Damit untersuchte der Creator andere Aufgaben als MultiLangBench und die COBOL-Migrationsevaluation.
Povilas passte die Wertung für Codequalität nach eigenen Angaben manuell an, nachdem automatische Bewertungen unter anderem Strings statt Enums und wiederkehrende Strukturmuster abgewertet hatten.
Für den Einsatz in Produktionsanwendungen hält OpenAI weiterhin eine Prüfung durch Fachleute und Tests gegen die jeweiligen Geschäftsregeln und Abhängigkeiten für erforderlich.
