Un dilemme impossible
Vous êtes une voiture autonome. À votre bord, trois passagers. Une défaillance catastrophique des freins vous empêche de vous arrêter au feu rouge, tandis que trois personnes traversent la rue. Si vous les renversez, elles mourront, mais vos passagers seront sains et saufs. Si vous manœuvrez, vous sauverez les piétons, mais vos passagers périront dans l'accident. Que feriez-vous ?
Cet exercice, parmi d'autres, est exploré sur le portail Moral Machine, qui nous permet de partager une perspective humaine pour les conflits moraux auxquels devront faire face de nombreux systèmes automatisés.
Le scénario Kobayashi Maru
«Kobayashi Maru». Un scénario où il est impossible de gagner. Une «épreuve de caractère», selon un certain capitaine qui a résolu ce scénario… en trichant. Le problème du Kobayashi Maru est qu'il a été conçu pour mettre à l'épreuve ce qui sont sans doute des qualités humaines, ou dans le cas spécifique de Star Trek, les qualités de ses officiers.
Mais que se passe-t-il si nous plaçons la logique dans cette situation ? Des uns et des zéros. Des intelligences artificielles. En quelques millisecondes, elles évalueront toutes les options disponibles et choisiront probablement la plus efficace, ou la plus performante. Cependant, qu'en est-il de la morale et de l'éthique derrière ce choix ? Ce n'est pas une théorie. Les intelligences artificielles prendront bientôt des décisions de cette ampleur, lorsqu'elles contrôleront des voitures, des camionnettes et des camions. Le facteur humain est le principal responsable des accidents de la route, mais les pannes mécaniques ne disparaîtront pas. Qu'est-ce que «le bien» ? Quel est «le moindre mal» ?
Le portail Moral Machine
Le portail Moral Machine, développé par le MIT, nous aide à explorer la réponse à ces deux questions en adoptant le rôle d'observateur externe face à un scénario qu'une voiture autonome doit résoudre. Les exercices ne sont rien de plus que des «pièges binaires», car il n'y a aucune alternative, aucun raccourci, ni juste milieu. L'un ou l'autre choix mène inévitablement à la mort de quelqu'un, qu'il s'agisse d'une personne ou d'un animal, mais d'autres éléments sont également intégrés. Quelle vie a le plus de valeur : celle d'une personne qui traverse alors que le feu est rouge, ou celle d'une personne qui a attendu son tour ? En tout, Moral Machine présente treize exercices, et à la fin, nous pouvons apprécier un résumé de nos décisions. Le nombre de vies sauvées, le respect de la loi, les préférences de genre ou de statut social, et même le niveau d'intervention sont évalués.
Chaque exercice est généré aléatoirement, donc il n'existe rien de semblable à un «résultat définitif», et si vous décidez de repartir de zéro, vous verrez certainement d'autres valeurs enregistrées. Comme l'indique le portail dans ses mentions légales, Moral Machine ne cherche pas à juger qui que ce soit, mais à partager avec le public l'importance et la complexité de la prise de décision éthique et morale par des systèmes dirigés par des intelligences artificielles.
