Le résultat du benchmark DrivingBench, rapporté le 3 octobre, est net : sur quatre modèles généralistes testés au volant d’une Toyota Corolla à basse vitesse, seul GPT-6 Astra a terminé le parcours de cônes. Il y est parvenu à sa deuxième tentative.

GPT-6 Astra, seul modèle à boucler le parcours

DrivingBench a mis à l’épreuve quatre modèles capables de traiter des images et du langage : GPT-6 Astra, Claude Fable 5.1, GPT-5.6 Sol et Grok 4.6. Chacun a disposé d’un maximum de trois tentatives au sein d’une même conversation.

Comment les modèles pilotaient la Corolla

Les modèles recevaient des images prises par la caméra et utilisaient trois outils pour commander directement la direction et la vitesse. La voiture pouvait continuer à avancer pendant que le modèle traitait les informations ; une nouvelle commande remplaçait celle qui était en cours. Le délai de traitement faisait donc partie de l’épreuve, au même titre que la capacité à interpréter les images et à choisir une manœuvre.

Deux des quatre modèles ont progressé de façon notable au fil des tentatives lorsque le contexte était conservé.

Les résultats rapportés pour chaque modèle

  • GPT-6 Astra a terminé le parcours lors de sa deuxième tentative. Les chiffres détaillés rapportés donnent 134,7 mètres parcourus en 5 min 22 s.
  • Claude Fable 5.1 a atteint environ la moitié du parcours à sa troisième tentative.
  • GPT-5.6 Sol a parcouru 17,1 mètres à sa troisième tentative, soit environ 6 % du parcours.
  • Grok 4.6 a atteint 22,6 mètres lors de sa meilleure tentative, soit environ 11 % du parcours.

Aucune autre tentative n’a dépassé la moitié du parcours.

Un parcours préparé, loin de la circulation ordinaire

L’essai s’est déroulé à basse vitesse sur un parcours de cônes préparé dans un parking. Une personne était prête à freiner pendant le test, selon le récit publié le 3 octobre. Il s’agissait donc d’un parcours contrôlé, pas d’une conduite en circulation sur route ouverte.

Les auteurs ont diffusé le harnais logiciel, les consignes, la carte du parcours, les traces, la vidéo et les données télémétriques afin de permettre la reproduction du benchmark.