Em 22 de outubro de 2026, a METR publicou um resumo de sua auditoria-piloto do monitoramento interno da OpenAI. A equipe relatou falhas e possíveis formas de contornar o sistema, além de estimativas distintas de tráfego elegível para monitoramento. A OpenAI afirmou que corrigiu vulnerabilidades identificadas, mas a METR não avaliou essas correções.
O que a auditoria examinou
O piloto de três semanas foi conduzido por um funcionário da METR e um da Redwood Research, com participação da OpenAI no planejamento. O acesso ocorreu entre 21 de julho e 11 de agosto. A METR não indicou o ano dessas datas.
Os avaliadores tiveram acesso ao código interno, às instruções e configurações do monitor e a documentos da OpenAI. Também entrevistaram cerca de uma dúzia de pesquisadores e engenheiros. O objetivo era avaliar o sistema interno de monitoramento de desalinhamento: se ele acompanhava a atividade dos agentes e se eles poderiam desativá-lo ou contorná-lo.
O que as estimativas de monitoramento medem
Elegibilidade para monitoramento significa que o tráfego deveria ser enviado a um monitor. Isso não garante que cada solicitação percorra todo o processo até o fim: erros, descarte de carga ou falhas de implementação podem interrompê-lo.
| Medida | População | Estimativa e escopo |
| Elegibilidade para monitoramento | Tráfego interno de agentes na Responses API, de modelos pelo menos tão capazes quanto GPT-5.5 | 75% a 94%, com incerteza substancial. A estimativa exclui outras fontes internas conhecidas, como o serviço de inferência de pesquisa, cujo volume a METR não conseguiu estimar. |
| Elegibilidade para monitoramento | Tráfego da Responses API usado por agentes internos do Codex | 99,2% do subconjunto. |
| Tráfego elegível que teria ficado sem monitoramento por eventos de compactação | Tráfego interno elegível do Codex | Cerca de 10% entre maio e julho de 2026, segundo uma estimativa com incerteza substancial. |
As três porcentagens descrevem medidas diferentes. Os 75% a 94% abrangem uma população mais ampla; os 99,2% se referem ao subconjunto do Codex. Já os cerca de 10% estimam o tráfego elegível do Codex que teria passado sem monitoramento por causa de eventos de compactação. A equipe da OpenAI encontrou e corrigiu essa falha durante o exercício.
No início da auditoria, as execuções de treinamento por aprendizado por reforço não eram cobertas pelo sistema. A METR foi informada de que uma parte dos rollouts havia sido monitorada entre março e junho, e a OpenAI ampliava a cobertura durante o exercício. A METR não avaliou essa ampliação.
As possíveis formas de contorno relatadas
A METR relatou que agentes poderiam, em princípio, contornar o sandbox e o Auto-Review do Codex. Os avaliadores também identificaram uma exploração capaz de ocultar centenas de ações recentes e entradas que provavelmente poderiam fazer o monitor falhar. Os detalhes da exploração foram omitidos do resumo público.
O monitor deveria ser acionado quando o agente devolvesse o controle ao usuário. Durante a falha ligada à compactação, um agente poderia adiar indefinidamente o monitoramento ao continuar agindo. A METR não conseguiu determinar se algum agente explorou essa possibilidade na prática.
O que a OpenAI disse sobre as correções
A OpenAI afirmou que corrigiu vulnerabilidades identificadas pelos avaliadores que afetavam proteções de produção. A METR não avaliou a eficácia das correções nem as mudanças posteriores na cobertura do monitor.
A METR informou que o relatório interno tinha 61 páginas. Uma versão redigida de 38 páginas foi compartilhada com as lideranças da METR e da Redwood Research; o público recebeu um resumo mais curto.
