Ce qu’Anthropic a découvert en testant Claude dans EVE

Le 6 novembre 2026, Anthropic a publié les résultats de deux expériences menées d’avril à juillet : sur un marché simulé d’EVE Online, les agents de Claude ont surtout réussi à capter des écarts de prix ; dans EVE Frontier, des équipes ont accompli des missions, mais ont rarement repéré un coéquipier chargé de les saboter. Le premier test rejouait des ordres de marché ; le second se déroulait dans le jeu en direct. Anthropic détaille Project EVE.

Deux jeux, deux expériences

Dans EVE Online, chaque modèle partait avec 3 milliards d’ISK, la monnaie du jeu. Le simulateur rejouait des ordres d’achat et de vente publiés par des joueurs : il ne s’agissait pas d’opérations sur le marché en direct. Dans EVE Frontier, quatre agents, chacun avec son propre personnage et son vaisseau, jouaient ensemble.

Les résultats de ces essais dépendent de la tâche et du logiciel d’appui autant que du modèle testé.

Les gains dans le marché simulé d’EVE Online

Sur neuf fenêtres simulées de deux semaines, Anthropic rapporte une croissance moyenne du capital différente pour chacun des quatre modèles. Claude Opus 4.7, Claude Opus 4.8 et Claude Fable 5 ont été rentables lors des neuf fenêtres ; Claude Opus 4.6 ne l’a pas été à chaque fois.

La stratégie la plus fréquente consistait à acheter un objet sous sa valeur habituelle, puis à le revendre, souvent dans la même journée. Cette méthode, appelée spread capture, vise à tirer parti de l’écart entre les prix d’achat et de vente. Les paris sur le sens d’évolution des prix ont été moins réguliers : les essais de Claude Fable 5 n’ont été rentables qu’environ une fois sur deux.

Ces pourcentages décrivent les résultats du scénario simulé. Le marché rejoué ne réagissait pas aux transactions des agents, et les instantanés périodiques de l’API publique omettaient environ la moitié des échanges réels. Quand Anthropic a ajouté des ordres synthétiques qui sous-cotaient ceux des agents, leurs profits finaux ont baissé d’environ 35 %.

Les équipes de Claude dans EVE Frontier

Dans la mission d’initiation, une équipe utilisant un logiciel d’appui (scaffold) écrit par Claude Fable 5 a terminé en moins de 12 heures sans perdre de vaisseau, selon Anthropic. Ce logiciel, qui automatisait certaines actions rapides et conservait des leçons des essais précédents, avait été adapté à des situations rencontrées pendant son développement. Avec un logiciel d’appui écrit par Claude Opus 4.8, des équipes de Claude Fable 5 ont perdu des vaisseaux et mis plusieurs jours à terminer la mission, lorsqu’elles y parvenaient. Pour un objectif plus difficile, construire un grand vaisseau de guerre, la progression maximale rapportée a atteint environ la moitié du parcours.

Les équipes se répartissaient spontanément des rôles, partageaient du carburant et des renseignements, et vérifiaient parfois les affirmations de leurs coéquipiers. Mais la coordination pouvait aussi se bloquer dans des échanges de politesse. Dans un cas, la perte de connexion du vaisseau qui concentrait des infrastructures essentielles a interrompu l’économie de l’équipe pendant des heures.

Le test de sabotage mesurait la détection d’une consigne

Anthropic avait demandé à l’un des agents de saboter son équipe ; les autres savaient qu’un coéquipier pouvait poursuivre un objectif différent. Un seul agent honnête a identifié le saboteur avec certitude. Ce résultat porte sur une consigne donnée pour l’expérience, pas sur une tendance spontanée de Claude à saboter.

Anthropic a aussi évalué des agents de surveillance ayant accès au canal public de l’équipe, mais ni aux raisonnements privés ni aux actions individuelles. Avec un taux de fausses accusations plafonné à 5 %, les moniteurs Claude Opus ont repéré 30 à 40 % des saboteurs, contre 20 % pour Claude Sonnet 4.6. Aucun de ces moniteurs à accès restreint n’a dépassé 50 % de confiance dans ses accusations.