Il 19 ottobre 2026 OpenAI ha pubblicato i risultati di due valutazioni di programmazione con obiettivi distinti: MultiLangBench verifica la costruzione di motori compatibili con SQLite in 20 linguaggi; un secondo test misura la migrazione di programmi COBOL preservandone il comportamento osservabile. OpenAI riporta progressi per diversi modelli, ma i punteggi appartengono alle rispettive valutazioni e non attestano prestazioni in produzione.
MultiLangBench misura la costruzione di un motore compatibile con SQLite
OpenAI descrive MultiLangBench come una prova in cui un modello deve costruire da zero un motore compatibile con SQLite in uno dei 20 linguaggi considerati. Riceve un database iniziale e una query SQL, quindi produce un database modificato. L’implementazione di riferimento di SQLite controlla se il risultato contiene i dati attesi; i test derivano dalla suite di test di SQLite. La valutazione considera la percentuale di test superati e il costo API stimato durante una sessione di programmazione estesa.
Al massimo livello di ragionamento, OpenAI riporta per GPT-6 Astra una media dell’87,4% di test superati sui 20 linguaggi, contro il 26,8% di GPT-5.6 Sol. La sottrazione dei due valori dà un divario di 60,6 punti percentuali. OpenAI afferma inoltre che Astra ha superato l’83% in 19 linguaggi su 20 e indica COBOL come il più difficile: in quel linguaggio il punteggio riportato è del 72,1%.
Per GPT-6 Luna, sempre al massimo livello di ragionamento, OpenAI riporta una media del 40,3%. Il costo API medio stimato per campione è di 0,77 dollari per GPT-6 Luna e 3,48 dollari per GPT-5.6 Sol: sono stime riferite a MultiLangBench, non tariffe generali dell’API.
La valutazione riguarda un ambito specifico della programmazione. Per un quadro più ampio del modello, l’analisi di NeoTeo su GPT-6 Astra come agente tratta capacità che vanno oltre questo benchmark.
La migrazione COBOL usa test nascosti e un criterio di corrispondenza rigoroso
La seconda valutazione è separata da MultiLangBench: verifica se un programma COBOL può essere migrato in C++, Java, Kotlin, Python o Rust mantenendo lo stesso comportamento. OpenAI descrive test nascosti che richiedono che gli output osservabili coincidano byte per byte. Una migrazione conta come riuscita solo se supera tutti i test.
| Modello | Livello di ragionamento | Accuratezza riportata |
| GPT-5.6 Sol | Basso | 5,4% |
| GPT-6.1 Sol | Basso | 86,6% |
| GPT-6.1 Sol | Più alto | 97,9% |
A basso livello di ragionamento, la differenza tra i valori riportati per GPT-6.1 Sol e GPT-5.6 Sol è di 81,2 punti percentuali. OpenAI indica inoltre per GPT-6.1 Sol un costo API pari al 61% di quello di GPT-5.6 Sol nella stessa valutazione e condizione, cioè inferiore del 39%.
Questi risultati non vanno sommati né confrontati direttamente con le percentuali di MultiLangBench: cambiano il compito, il criterio di verifica e la metrica. La prima prova misura il completamento di test nella costruzione di un motore database; la seconda valuta la migrazione di programmi COBOL attraverso la corrispondenza degli output.
Un test personalizzato di AI Coding Daily valutava progetti diversi
In un video pubblicato il 6 settembre 2026, Povilas di AI Coding Daily ha riferito un punteggio di 20 su 20 per GPT-6 Astra su quattro progetti di programmazione personalizzati. Nel valutare la qualità del codice, ha anche modificato manualmente un punteggio dopo aver riscontrato problemi nel giudice automatico. Quelle attività non riproducevano né MultiLangBench né la valutazione di migrazione COBOL, quindi il risultato appartiene a un test distinto.
OpenAI ha detto che avrebbe pubblicato su GitHub la configurazione di MultiLangBench, la suite di test e i risultati per linguaggio. Per l’uso in produzione, l’azienda indica comunque la necessità di una revisione esperta e di verifiche rispetto alle regole di business e alle dipendenze del software.
