Le 19 octobre 2026, OpenAI a publié les résultats de deux évaluations distinctes de programmation. MultiLangBench mesure la création d’un moteur compatible avec SQLite dans 20 langages ; une autre évaluation teste la migration de programmes COBOL en vérifiant que leurs sorties observables restent identiques. OpenAI rapporte des progrès sur ces deux tâches, mais précise que l’utilisation en production exige toujours un examen expert et des tests adaptés aux règles métier et aux dépendances des logiciels concernés.
MultiLangBench teste la création d’un moteur de base de données
Dans MultiLangBench, un modèle doit construire de zéro un moteur compatible avec SQLite. Il reçoit une base de données initiale et une requête SQL, puis produit une base modifiée. L’implémentation de référence de SQLite vérifie si son contenu correspond au résultat attendu. OpenAI indique que les tests ont été adaptés de la suite de tests de SQLite. L’évaluation mesure le taux de réussite aux tests et le coût d’API par échantillon au cours d’une session de programmation prolongée.
À l’effort de raisonnement maximal, OpenAI rapporte un taux moyen de réussite de 87,4 % pour GPT-6 Astra, contre 26,8 % pour GPT-5.6 Sol. La soustraction de ces deux résultats donne un écart de 60,6 points de pourcentage. OpenAI indique aussi que GPT-6 Astra dépasse 83 % dans 19 des 20 langages ; le COBOL est le plus difficile, avec 72,1 % dans l’exemple consacré à ce langage.
GPT-6 Luna atteint pour sa part 40,3 % en moyenne, également à l’effort maximal. Pour MultiLangBench, OpenAI estime le coût moyen par échantillon à 0,77 dollar américain avec GPT-6 Luna, contre 3,48 dollars avec GPT-5.6 Sol. Ces montants correspondent à cette évaluation, pas à un tarif général d’API.
La migration COBOL vérifie les sorties des programmes
La seconde évaluation porte sur la traduction de programmes COBOL vers C++, Java, Kotlin, Python ou Rust. OpenAI décrit des tests cachés qui exigent une parité octet par octet des sorties observables. Une migration ne compte comme réussie que si elle passe tous les tests.
| Modèle | Effort de raisonnement | Précision rapportée |
| GPT-6.1 Sol | Faible | 86,6 % |
| GPT-6.1 Sol | Plus élevé | 97,9 % |
| GPT-5.6 Sol | Faible | 5,4 % |
À faible effort, l’écart entre les résultats annoncés pour GPT-6.1 Sol et GPT-5.6 Sol est de 81,2 points de pourcentage, calculés à partir de 86,6 % et de 5,4 %. Les 97,9 % de GPT-6.1 Sol correspondent à un effort plus élevé et ne sont donc pas la même condition de test. OpenAI indique aussi que, dans cette évaluation à faible effort, le coût d’API de GPT-6.1 Sol représente 61 % de celui de GPT-5.6 Sol, soit 39 % de moins.
Un test de créateur porte sur d’autres tâches
Dans une vidéo publiée le 6 septembre 2026, Povilas, créateur d’AI Coding Daily, rapporte un score de 20 sur 20 pour GPT-6 Astra sur quatre projets de programmation conçus pour ses propres tests. Il explique avoir ajusté manuellement le score de qualité du modèle après que son système de notation automatisé a pénalisé certains choix de code, notamment l’emploi de chaînes de caractères plutôt que d’énumérations. Ces projets diffèrent des tâches de MultiLangBench et de migration COBOL.
Pour un contexte plus large sur le modèle, NeoTeo avait déjà examiné les capacités générales de GPT-6 Astra. Ici, les deux évaluations d’OpenAI portent sur des tâches délimitées, avec des critères de réussite propres à chacune.
OpenAI indique que les applications en production nécessitent encore une revue par des experts et des tests au regard des règles métier et des dépendances concernées.
