O que o teste de física do GPT-6-Astra mediu

Os autores do TheoPhysEval relatam que GPT-6-Astra com Codex acertou 49 de 50 respostas finais no modo realista e 46 de 50 no modo isolado. O resultado vem de uma única execução por agente em cada modo, em tarefas de cálculo com respostas verificáveis, não de uma prova de pesquisa científica autônoma. O preprint original do TheoPhysEval detalha o teste.

O que o TheoPhysEval avaliou

O TheoPhysEval reuniu 50 problemas inéditos em 11 áreas da física teórica. Segundo os autores, as tarefas aplicavam métodos conhecidos a cálculos delimitados; não eram grandes problemas de pesquisa em aberto nem avaliavam a capacidade de formular novas teorias ou escolher questões científicas relevantes.

Os agentes trabalharam sem dicas humanas durante as execuções, e a avaliação considerou as respostas finais. Para facilitar a correção, os pesquisadores converteram muitas tarefas simbólicas em respostas numéricas. Os autores também apontaram ambiguidades de convenção em alguns enunciados. Uma tarefa, que pedia uma equação diferencial capaz de reproduzir uma curva fornecida, não foi resolvida por nenhum dos modelos avaliados.

Resultados com e sem busca na web

No modo realista, os agentes podiam usar busca na web e ferramentas locais. No modo isolado, a busca na web era desativada, mas as ferramentas locais continuavam disponíveis e os agentes podiam fazer chamadas ao provedor do modelo. Portanto, “isolado” não significava uma execução sem ferramentas.

GPT-6-Astra com Codex teve a maior pontuação no modo realista; no isolado, empatou com Opus 5.5 com Claude Code CLI. A diferença de três respostas corretas entre os modos de Astra, por si só, não permite atribuir o resultado à busca na web: os autores fizeram apenas uma execução por agente e modo e alertaram que as respostas podem variar entre rodadas.

O que uma única execução permite concluir

A pontuação descreve o desempenho das combinações avaliadas naquela rodada e naquele conjunto de tarefas. Ela não mede a repetibilidade dos resultados nem mostra, por si só, que o sistema consiga conduzir pesquisa teórica de forma autônoma.

A correção também exigiu revisão: após consultar especialistas sobre respostas de Astra inicialmente consideradas erradas, os autores corrigiram erros sutis em várias soluções de referência e concluíram que as respostas do modelo estavam corretas nesses casos. Além disso, disseram não poder descartar contaminação de dados relacionada ao uso de ferramentas de IA por colaboradores na elaboração das soluções. Esses fatores fazem parte do contexto necessário para interpretar o placar.

Quanto custou a execução

Os autores informaram um custo de US$ 116,28 para a execução de 50 tarefas de Astra no modo realista. Dividido pelo número de tarefas, o valor corresponde a US$ 2,3256, ou cerca de US$ 2,33 por tarefa. É a média aritmética do custo daquela execução do benchmark.