OpenAI publiceerde op 19 oktober 2026 resultaten van twee verschillende programmeerevaluaties. MultiLangBench test of modellen in 20 programmeertalen een SQLite-compatibele database-engine kunnen bouwen; een aparte proef meet of COBOL-programma’s naar andere talen kunnen worden gemigreerd met behoud van hun waarneembare uitvoer.
MultiLangBench test databasebouw in 20 talen
Bij MultiLangBench moet een model vanaf nul een SQLite-compatibele database-engine bouwen. Het krijgt een database en een SQL-query en levert een aangepaste database op. De referentie-implementatie van SQLite controleert vervolgens of die de verwachte inhoud heeft. OpenAI baseerde de tests op de bestaande testsuite van SQLite.
OpenAI rapporteerde voor GPT-6 Astra een gemiddeld slagingspercentage van 87,4% over de 20 talen bij maximale redeneerinspanning. Voor GPT-5.6 Sol meldde het bedrijf 26,8%. Het rekenkundige verschil tussen die percentages is 60,6 procentpunt. OpenAI meldde ook dat GPT-6 Astra in 19 talen boven de 83% scoorde. COBOL was volgens het bedrijf de lastigste taal, met een score van 72,1%.
GPT-6 Luna behaalde volgens OpenAI bij maximale redeneerinspanning gemiddeld 40,3%. De geschatte gemiddelde API-kosten in deze evaluatie waren US$ 0,77 per sample voor GPT-6 Luna en US$ 3,48 voor GPT-5.6 Sol.
COBOL-migratie krijgt een aparte uitvoertest
De tweede evaluatie testte of modellen bestaande COBOL-programma’s kunnen omzetten naar C++, Java, Kotlin, Python of Rust, terwijl het waarneembare gedrag behouden blijft. OpenAI gebruikte verborgen tests die byte voor byte dezelfde waarneembare uitvoer vereisten. Een migratie telde pas als geslaagd wanneer alle tests waren doorstaan.
OpenAI rapporteerde voor GPT-6.1 Sol een nauwkeurigheid van 86,6% bij lage redeneerinspanning en 97,9% bij hogere inspanning. Voor GPT-5.6 Sol meldde het bedrijf 5,4% bij lage inspanning. Bij die lage inspanning is het verschil tussen de twee gerapporteerde scores 81,2 procentpunt. OpenAI zei daarnaast dat GPT-6.1 Sol in deze evaluatie bij lage inspanning 61% kostte van GPT-5.6 Sol.
| Model | Redeneerinspanning | Gerapporteerde nauwkeurigheid |
| GPT-6.1 Sol | Laag | 86,6% |
| GPT-6.1 Sol | Hoger | 97,9% |
| GPT-5.6 Sol | Laag | 5,4% |
Een andere programmeertest leverde 20 uit 20 op
Povilas van AI Coding Daily meldde in een video die op 6 september 2026 verscheen dat GPT-6 Astra 20 van de 20 opdrachten haalde in vier eigen programmeerprojecten. Die opdrachten betroffen onder meer gegevenssynchronisatie, randgevallen en conflicten tussen meerdere apparaten. Het was een andere testopzet dan de evaluaties van OpenAI.
Povilas vertelde ook dat hij de score op zijn ranglijst handmatig aanpaste nadat automatische beoordelaars codevormen, zoals strings in plaats van enums, lager waardeerden. De bredere agentmogelijkheden van GPT-6 Astra kwamen eerder aan bod in NeoTeo’s artikel over GPT-6 Astra.
Productiesoftware vraagt om deskundige controle
OpenAI zegt dat gebruik in productie deskundige beoordeling en tests tegen de relevante bedrijfsregels en afhankelijkheden vereist.
