19 października 2026 r. OpenAI opublikowało wyniki dwóch odrębnych ewaluacji programowania. W MultiLangBench GPT-6 Astra uzyskała średnio 87,4% zaliczonych testów w 20 językach przy maksymalnym wysiłku rozumowania. W osobnym teście migracji COBOL GPT-6.1 Sol osiągnął 86,6% dokładności przy niskim wysiłku. To wyniki podane przez OpenAI, a każda ewaluacja sprawdza inne zadanie.
MultiLangBench sprawdza budowę silnika zgodnego z SQLite
W MultiLangBench model ma zbudować od zera silnik bazy danych zgodny z SQLite w jednym z 20 języków programowania. Otrzymuje bazę początkową i zapytanie SQL, a następnie zwraca zmodyfikowaną bazę. Referencyjna implementacja SQLite sprawdza, czy jej zawartość odpowiada oczekiwaniom. OpenAI podało, że testy dostosowano do tego zadania z zestawu testowego SQLite.
OpenAI raportuje średnią zdawalność testów na poziomie 87,4% dla GPT-6 Astra oraz 26,8% dla GPT-5.6 Sol. Różnica między tymi wartościami wynosi 60,6 punktu procentowego. Astra przekroczyła 83% w 19 z 20 języków; w COBOL uzyskała 72,1%, a OpenAI określiło ten język jako najtrudniejszy w teście.
GPT-6 Luna osiągnęła średnio 40,3% przy maksymalnym wysiłku rozumowania. OpenAI oszacowało jej średni koszt API na próbkę na 0,77 USD, wobec 3,48 USD dla GPT-5.6 Sol w MultiLangBench. To koszty podane dla tej ewaluacji, a nie ogólny cennik API.
Wcześniejsze omówienie GPT-6 Astra w zadaniach agentowych dotyczyło szerszych możliwości modelu. Tutaj wyniki odnoszą się do konkretnego testu budowy silnika zgodnego z SQLite.
Migracja COBOL sprawdza zachowanie programu
Druga ewaluacja dotyczy przenoszenia istniejących programów COBOL do C++, Javy, Kotlina, Pythona lub Rusta. Według OpenAI ukryte testy sprawdzają zgodność bajt po bajcie obserwowalnych wyników programu. Migracja jest zaliczona tylko wtedy, gdy przejdzie wszystkie testy.
| Model | Wysiłek rozumowania | Dokładność podana przez OpenAI |
| GPT-6.1 Sol | Niski | 86,6% |
| GPT-5.6 Sol | Niski | 5,4% |
| GPT-6.1 Sol | Wyższy | 97,9% |
Przy niskim wysiłku różnica między wynikami GPT-6.1 Sol i GPT-5.6 Sol wynosi 81,2 punktu procentowego. OpenAI podało też, że koszt API GPT-6.1 Sol w tej ewaluacji, przy niskim wysiłku, stanowił 61% kosztu GPT-5.6 Sol, czyli był niższy o 39%.
Test AI Coding Daily dotyczył innych projektów
W materiale opublikowanym 6 września 2026 r. Povilas z AI Coding Daily opisał własny zestaw testów. Według twórcy GPT-6 Astra uzyskała w nim 20/20 punktów w czterech projektach. Povilas ręcznie skorygował też wynik jakości kodu po tym, jak automatyczna ocena obniżała punktację między innymi za używanie ciągów znaków zamiast typów wyliczeniowych.
Były to autorskie projekty, a nie testy MultiLangBench ani migracji COBOL. Wynik 20/20 dotyczy więc tych czterech zadań i nie stanowi wyniku żadnej z ewaluacji OpenAI.
OpenAI zaleca ekspercką kontrolę przy użyciu produkcyjnym
OpenAI podkreśliło, że zastosowanie modeli w systemach produkcyjnych nadal wymaga eksperckiego przeglądu oraz testów uwzględniających reguły biznesowe i zależności danego oprogramowania.
