A OpenAI divulgou em 19 de outubro de 2026 resultados de duas avaliações distintas de programação. O MultiLangBench mede a criação de mecanismos compatíveis com SQLite em 20 linguagens; uma segunda avaliação testa a migração de programas COBOL, verificando se eles preservam suas saídas observáveis. Na primeira, a OpenAI reportou média de 87,4% de aprovação para GPT-6 Astra; na segunda, informou 86,6% de precisão para GPT-6.1 Sol com baixo esforço de raciocínio.
A cobertura anterior da NeoTeo sobre o GPT-6 Astra tratou do modelo em outro contexto. Aqui, o foco são os métodos e resultados dessas avaliações de programação.
O que o MultiLangBench avalia
A OpenAI descreve o MultiLangBench como um teste em que o modelo precisa criar do zero um mecanismo de banco de dados compatível com SQLite. A avaliação abrange 20 linguagens e usa testes adaptados da suíte do próprio SQLite. O modelo recebe um banco inicial e uma consulta SQL, produz uma versão modificada do banco e tem o resultado conferido pelo SQLite de referência, que verifica se o conteúdo esperado está presente.
No esforço máximo de raciocínio, a OpenAI reportou média de aprovação de 87,4% para GPT-6 Astra, ante 26,8% para GPT-5.6 Sol. A diferença calculada a partir desses valores é de 60,6 pontos percentuais. A empresa também informou que Astra superou 83% em 19 das 20 linguagens; COBOL foi a mais difícil, com 72,1%.
Nos exemplos por linguagem divulgados pela OpenAI, Astra marcou 72,1% em COBOL, 85,8% em OCaml, 83,5% em Fortran e 89,4% em Visual Basic. Os resultados anteriores de GPT-5.6 Sol nessas mesmas comparações foram, respectivamente, 10,9%, 25,6%, 21,4% e 27,5%.
A OpenAI também reportou 40,3% de aprovação média para GPT-6 Luna no esforço máximo. Para essa avaliação, estimou custo médio de API de US$ 0,77 por amostra para Luna e US$ 3,48 para GPT-5.6 Sol. São estimativas por amostra do benchmark, não tarifas gerais de API.
Migração de COBOL exige preservar as saídas
A avaliação de COBOL é separada do MultiLangBench. Ela verifica a migração de programas COBOL para C++, Java, Kotlin, Python ou Rust. Segundo a OpenAI, testes ocultos exigem paridade byte a byte nas saídas observáveis, e a migração só conta como bem-sucedida se todos os testes forem aprovados.
| Modelo | Esforço de raciocínio | Precisão reportada pela OpenAI |
| GPT-6.1 Sol | Baixo | 86,6% |
| GPT-5.6 Sol | Baixo | 5,4% |
| GPT-6.1 Sol | Mais alto | 97,9% |
Com baixo esforço de raciocínio, a diferença entre GPT-6.1 Sol e GPT-5.6 Sol é de 81,2 pontos percentuais, calculada a partir das precisões divulgadas pela OpenAI. A empresa também afirmou que, nessa avaliação e configuração, o custo de GPT-6.1 Sol correspondeu a 61% do custo de GPT-5.6 Sol.
No anúncio de 19 de outubro, a OpenAI disse que disponibilizaria no GitHub a configuração do MultiLangBench, sua suíte de testes e os resultados por linguagem.
Um teste de criador usou outras tarefas
Em vídeo publicado em 6 de setembro de 2026, Povilas, da AI Coding Daily, relatou pontuação de 20 em 20 nos quatro projetos de programação que avaliou com GPT-6 Astra. Ele também ajustou manualmente a pontuação de qualidade no próprio placar após identificar problemas no avaliador automático, que penalizou, entre outros pontos, o uso de strings em vez de enums. Como as tarefas e os critérios eram diferentes, esse resultado descreve o teste do criador, não os protocolos da OpenAI.
Para aplicações em produção, a OpenAI afirma que ainda são necessárias revisão especializada e testes em relação às regras de negócio e às dependências do software.
