Qué mide el 49/50 de GPT-6-Astra en física teórica

Los autores de TheoPhysEval informaron que GPT-6-Astra con Codex acertó 49 de 50 respuestas finales en la modalidad realista y 46 de 50 en la aislada. La prueba reunió cálculos de física teórica con respuestas verificables; cada agente completó la batería una sola vez en cada modalidad.

Qué evaluó TheoPhysEval

TheoPhysEval reunió 50 problemas inéditos de 11 áreas de la física teórica. Los autores los describen como cálculos de investigación que aplican técnicas conocidas, no como grandes problemas abiertos que exijan crear nuevas teorías. Los agentes debían resolverlos sin pistas humanas y la evaluación se basó en las respuestas finales.

Eso acota el alcance del 49/50: es el resultado de una pareja concreta de modelo y herramienta en una batería específica. No equivale a haber resuelto 49 problemas abiertos ni mide por sí solo la capacidad de dirigir una investigación científica. Para otro caso del mismo modelo, NeoTeo analizó cómo interpretar los resultados de ARC Prize en su artículo sobre GPT-6-Astra y AGI.

Resultados con búsqueda web y sin ella

La modalidad realista permitía búsquedas web y herramientas locales. En la aislada se desactivaba la búsqueda web, pero seguían disponibles las herramientas locales y las llamadas al proveedor del modelo. Estas fueron las puntuaciones que informaron los autores:

GPT-6-Astra con Codex obtuvo la puntuación más alta de las cinco parejas en la modalidad realista. En la aislada, empató con Opus 5.5 con Claude Code CLI, ambas con 46 aciertos. Los autores advierten que las diferencias entre modalidades están dentro de la incertidumbre de una evaluación con una sola ejecución, así que estos resultados no miden cuánto mejoraría el rendimiento al repetir la prueba.

Qué límites tiene la puntuación

Los autores ejecutaron la batería completa una vez por agente y modalidad, y señalan que las respuestas pueden variar entre ejecuciones. También detectaron ambigüedades de convenciones en algunos enunciados. Tras consultar a expertos sobre respuestas de Astra que parecían erróneas, corrigieron errores sutiles en varias soluciones de referencia y consideraron correctas las respuestas de Astra en esos casos.

Además, los autores no pudieron descartar una posible filtración de datos relacionada con IA: algunos colaboradores recurrieron a herramientas de inteligencia artificial al resolver los problemas. Y hubo un límite compartido por todos los modelos evaluados: ninguno resolvió el problema inverso, que pedía encontrar una ecuación diferencial capaz de reproducir una curva dada.

El coste correspondió a la ejecución del benchmark

Los autores calcularon en 116,28 dólares estadounidenses el coste de la ejecución realista de GPT-6-Astra con Codex para las 50 tareas. Dividir esa cantidad entre 50 da 2,3256 dólares por tarea, aproximadamente 2,33 dólares. Es el coste de esa ejecución del benchmark, no una tarifa de suscripción ni una estimación del ahorro frente al trabajo de investigadores.

El artículo original de TheoPhysEval describe las tareas, las modalidades y las condiciones de evaluación.