« Le recours au hasard est un moyen non pas d’effacer le mal, mais d’extraire la machine du champ du jugement éthique. »
Chercheur au Laboratoire de recherche sur les sciences de la matière (LARSIM) au centre CEA de Saclay, Alexei Grinbaum est physicien et philosophe. Il s’intéresse notamment aux questions éthiques soulevées par les nouvelles technologies (nanotechnologies, biologie de synthèse, robotique, intelligence artificielle). Dans Satanas Ex Machina, un livre à paraître chez Desclée de Brouwer début 2019, il propose de recourir au hasard dans le cas des conflits éthiques qui impliquent les utilisateurs de machines intelligentes, en particulier des véhicules autonomes, amenées à « choisir » entre des vies à protéger ou à sacrifier en cas d’accident. À l’occasion de la publication d’un article dans la Revue française d’éthique appliquée, qui présente de façon synthétique l’argument développé dans son livre, nous lui avons proposé de discuter avec Frédéric Serval, responsable d’un département d’analyse de données chez LEGO.
Frédéric Serval : Selon vous, les problèmes d’éthique que l’on rencontre aujourd’hui avec l’émergence des machines apprenantes résonnent avec des questionnements plus anciens ?
Alexei Grinbaum : Résonner… Le mot est très bien choisi. Le contexte technologique est évidemment nouveau, mais cela ne veut pas nécessairement dire qu’il faille, pour l’appréhender, trouver une éthique entièrement nouvelle. Hans Jonas, grand philosophe allemand des années 1970, a cherché pendant plusieurs années cette éthique inédite des nouvelles technologies mais ne l’a pas trouvée. La leçon à tirer c’est que l’éthique des nouvelles technologies doit s’inscrire dans une longue tradition de pensée éthique. Pour aller au-delà du contexte technologique actuel, je propose de dégager des « motifs fondamentaux », c’est-à-dire des grands thèmes qui se répètent de génération en génération et qui ont déjà été analysés et approfondis dans l’histoire de l’éthique.
Frédéric Serval : J’aimerais discuter avec vous du dilemme du tramway, qui décrit un choix entre deux issues moralement inacceptables. Existe-t-il réellement une solution éthique à ce problème ? Certaines personnes ont par exemple avancé l’idée du sondage d’opinion. Or, si l’on prend l’exemple du site web « Moral Machines » du MIT, qui collecte les choix moraux des gens en cas d’accident inévitable selon plusieurs variables de nature différente, on se rend compte que les réponses connaissent de très grandes variations. Cela montre, selon moi, les limites de la possibilité d’une approche mathématique pour résoudre un dilemme moral.
Alexei Grinbaum : Avec le psychologue Jean-François Bonnefon, nous avons justement participé à un débat sur ce sujet à l’École normale supérieure. Plusieurs stratégies ont été proposées pour résoudre le dilemme du tramway, mais avant de les aborder, il faut préciser qu’il ne s’agit pas d’une situation réelle mais d’un modèle. En situation réelle, un véhicule autonome dispose d’un temps de décision et d’un accès aux données limités. Le dilemme du tramway met les paramètres techniques entre parenthèses pour se focaliser sur une dimension purement morale. La question est : le concepteur du logiciel doit-il encoder dans la machine des valeurs morales pour lui permettre de prendre la décision ?
Parmi les solutions possibles pour résoudre le dilemme du tramway, la première consiste à laisser le peuple choisir, à travers le référendum par exemple, quelle personne doit mourir en cas d’accident. La deuxième solution consiste à choisir une fonction à optimiser, une mesure quantitative du caractère moral des différentes issues, ce qui semble logique puisque la machine ne sait que calculer. Mais ‒ et c’est l’argument dit « conséquentialiste » ‒ une morale calculée de manière froide en fonction de règles prédéterminées ne sera jamais complètement satisfaisante, car le jugement humain dépend aussi des conséquences encore incertaines que l’action d’une voiture autonome produira à l’avenir.
Quels que soient les critères retenus, la décision ne sera donc jamais éthiquement irréprochable. Alors que faire ? L’argument principal que je développe dans mon livre part de ce constat que l’on ne peut pas effacer le mal. Les technologies font du bien et font du mal, cela a toujours été ainsi. Dès lors, la question n’est pas de savoir comment faire en sorte que la voiture autonome ne tue personne, mais plutôt comment faire en sorte que les concepts du bien et du mal restent des concepts purement humains, et que les machines ne deviennent pas des agents moraux. Le recours au hasard est un moyen non pas d’effacer le mal, mais d’extraire la machine du champ du jugement éthique.
Serval : Concernant la fonction d’optimisation, il est intéressant de souligner qu’elle est toujours définie par un être humain. Quand un algorithme ajuste le prix des tickets d’avion, par exemple, il n’est pas optimisé pour améliorer le trajet du plus grand nombre, mais pour améliorer la rentabilité du trajet… Ce choix, ce n’est pas la machine qui l’a fait, c’est la personne qui a conçu la fonction d’optimisation. Ce n’est pas parce qu’il s’agit d’un calcul qu’il est « froid », pour reprendre vos propres termes…
Grinbaum : Derrière toute optimisation, il y a une hiérarchie des valeurs, qui repose sur des mesures non pas qualitatives, mais quantitatives, c’est-à-dire plusieurs critères auxquels l’on associe différents coefficients, de 1 à 10 par exemple. Ces hiérarchies de valeurs, vous avez raison, sont toujours définies par des concepteurs humains. Le dilemme éthique est un conflit de valeurs bien plus profond qu’une mesure de type « 7 > 4 ». Établir une hiérarchie de valeurs quantifiée est donc très difficile, et même impossible, en particulier quand il est question de vies humaines.
Par ailleurs, lorsque l’homme fait un choix moral, il est confronté à une certaine opacité. Personnellement, je ne sais pas si la justice est plus importante que la liberté ou vice-versa. Je décide en fonction du contexte, de l’instinct, mais aussi des ressources limitées dont je dispose. Donc je ne suis pas complètement transparent en éthique. Or, le calcul d’une fonction prédéterminée est par définition transparent.
Serval : On en arrive au cœur de votre proposition : utiliser le hasard pour ajouter de l’opacité. Le hasard est un événement ou une variable qui n’est lié(e) à aucune causalité, une manifestation pure du destin. Mais, et je le vois dans mon travail quotidien, le vrai hasard n’existe pas en informatique. Je peux générer une suite pseudo-aléatoire, mais elle ne sera jamais complètement aléatoire. Il y aura toujours une causalité, puisque cette suite que je vais coder sera la même aujourd’hui, sur ma machine, que dans dix jours, sur celle d’un collègue…
Grinbaum : J’ai discuté de cette question avec des confrères… Serge Abiteboul, informaticien et membre de l’Académie des sciences, pense que cette solution ne peut marcher que si l’on est en présence du hasard fondamental et irréductible, produit, par exemple, par un générateur quantique de nombres aléatoires. Eh bien, dans mon livre, j’explique qu’il suffit de recourir au hasard seulement apparent. Pour que l’argument éthique soit acceptable, il suffit que l’utilisateur croie que le choix s’effectue au hasard. À titre d’exemple, on peut citer le comportement indéfini (undefined behavior) des programmes : certains choix sont inconnus du programmeur, parce que leurs résultats n’ont pas été spécifiés dans la description du compilateur, et donc apparaissent comme aléatoires.
Serval : Donc bien que ce soit pseudo-aléatoire, cette opacité pour l’utilisateur et le développeur apporte un hasard apparent qui vous semble suffisant. Est-ce que cela ne veut-il pas dire, finalement, qu’on entre dans une notion de foi, dans le sens où les utilisateurs doivent avoir foi dans le fait que la machine va laisser le hasard choisir ? Ce qui nous amène au mythe de Josué, dont il est question dans l’article. Est-il très souhaitable que les Hommes entretiennent le même rapport aux machines apprenantes que le peuple juif au Dieu du Talmud alors qu’elles ne font que simuler quelque chose qu’elles ne savent en réalité pas faire ?
Grinbaum : Je préfère utiliser le terme de confiance. En effet, la confiance de l’utilisateur est fondamentale. Je raconte à ce sujet une histoire biblique. À la fin de cette histoire, lorsque Josué dit à Achan : « Avoue, parce que par cette même procédure sera partagée la terre promise entre les tribus d’Israël », ce dernier comprend que l’enjeu n’est pas celui de sa vie, mais de la confiance que le peuple accordera à la procédure. Un chapitre de mon livre s’intitule « Un coup de dé jamais n’abolira la confiance ». J’y cherche à savoir comment maintenir cette confiance. C’est très difficile parce que le recours au hasard ne pose pas seulement des interrogations d’ordre éthique, mais aussi psychologique et politique. Or, sur ces plans, aujourd’hui, tout va à l’encontre de la confiance. On le voit par exemple avec les plateformes Admission post-bac (APB) ou Parcoursup… Lorsque vous dites aux gens que l’on va utiliser le tirage au sort, ils trouvent cela inacceptable et même injuste, même si cette perception tend à évoluer avec le temps.
Serval : À partir du moment où vous laissez aux machines le soin d’être des Moires (les divinités grecques du destin), les Hommes ne risquent-ils pas de se rebeller contre les systèmes informatiques pour avoir l’impression de reprendre leur destinée en main ? Cela me fait penser à un autre mythe, beaucoup plus moderne, celui du Jihad butlérien dans Dune, qui aboutit à l’interdiction des intelligences artificielles remplacées par une caste de mentats spécialisés dans l’analyse de données…
Grinbaum : Je pense que le problème fondamental de la relation homme-machine ne se pose pas en termes de concurrence, mais d’imitation mutuelle. Nous tentons de concevoir des machines capables de simuler le comportement humain. Mais en interagissant avec elles, nous imitons nous aussi le comportement des machines. L’homme est une formidable « machine à imiter » ! Par exemple, l’adoption par les jeunes du langage SMS, c’est-à-dire de la compression de l’information, est une valeur des machines devenue humaine. Ce mimétisme est tout à fait formidable et me semble plus dangereux, puisque l’on n’en est pas toujours conscient. C’est davantage sur ce point que je placerais le curseur du danger.
Mythe de Josué : Après la mort de Moïse, le peuple d’Israël est guidé par un nouveau chef, Josué. C’est lui qui traverse enfin le Jourdain et entre en Terre promise. Mais cette terre est déjà habitée : Josué doit faire la guerre à ses occupants. Assez vite, l’armée d’Israël prend la ville de Jéricho. Le peuple en liesse s’illusionne alors en croyant que la conquête sera facile : étant donné que cette terre lui avait été promise par Dieu, il devrait voler de victoire en victoire. Or, la première défaite arrive juste après. Les habitants d’une petite localité du nom d’Haï, située non loin de Jéricho, repoussent les hommes de Josué. Au moment de la bataille de Jéricho, Dieu avait déclaré que lui seul pouvait légitimement prendre possession des biens des peuples qui occupaient précédemment la Terre promise. Au peuple d’Israël, ces objets étaient interdits : celui qui y toucherait devrait être mis à mort. En toute logique, la cause de la défaite d’Haï ne peut être qu’un viol de cet interdit divin. Josué reste alors seul face à Dieu, déchire ses vêtements, se prosterne le visage contre terre et demeure devant l’Arche d’Alliance jusqu’au soir. C’est là que Dieu l’informe de la punition qu’il a infligée à Israël, à Haï. Le peuple doit « éliminer l’interdit de son sein » en trouvant le coupable qui sera brûlé. Mais qui est le coupable ? C’est ce que Josué demande à Dieu. Or Dieu ne répond pas. Il dit : « Vekhi delator ani ? » – « Mais suis-je délateur ? » « Jette les dés ! » commande Dieu à Josué. Derrière cette commande, il y a la répugnance de Dieu à l’idée de devenir un délateur. Ce n’est pas à lui de dénoncer le coupable par peur qu’il ne soit impliqué dans une affaire de jugement humain, mais c’est à l’homme de suivre la procédure et de chercher, ou plutôt créer, la vérité. L’enjeu, par-delà la question de la recherche du coupable, est celui de la confiance en la procédure. Les dés pointent vers un homme qui s’appelle Achan. Celui-ci d’abord se rebelle contre Josué : « Tu me condamnes par un tirage au sort ? Et si le sort était tombé sur toi-même ? » Josué réplique : « Je te prie, avoue ton crime. C’est par un tirage au sort que sera partagée la terre entre les tribus d’Israël. » Aussitôt, Achan avoue. Il a compris que ce n’est pas sa vie qui est en jeu, mais la confiance en la procédure.
