C’est le phénomène de la “boîte noire” : des algorithmes dont il est possible d’observer les données d’entrée et de sortie, mais dont on ne comprend pas le fonctionnement interne. La question de la confiance est centrale pour l’avenir de l’IA. Une défiance de l’opinion publique freinerait son développement. Demain, il s’agira donc de trouver un compromis satisfaisant entre efficacité et explicabilité.
Les progrès des algorithmes d’intelligence artificielle (IA) et leur utilisation croissante dans des domaines sensibles comme la santé, la justice, l’éducation ou la banque et l’assurance nous poussent à nous interroger sur les enjeux (réglementaires, éthiques, environnementaux, etc.) soulevés par ces technologies.
Parmi ces enjeux, l’IA explicable (Explainable AI, ou X-AI) apparaît comme l’un des critères d’une IA éthique. Les algorithmes intervenant de plus en plus dans des processus de prise de décision pouvant avoir un impact significatif sur la vie des personnes concernées, il est important de comprendre comment ils “raisonnent”.
Ainsi, le médecin qui établit un diagnostic à l’aide d’un algorithme décisionnel ou le juge qui prononce une peine sur la base d’un logiciel de prédiction de la récidive devraient pouvoir savoir comment ces systèmes ont abouti à tel ou tel résultat. De la même manière, la personne qui se voit refuser une demande de prêt bancaire par un algorithme de “credit scoring” devrait pouvoir savoir pourquoi.
Le hic, c’est que ces technologies, en particulier celles reposant sur des techniques d’apprentissage automatique (machine learning), sont souvent opaques. Il est parfois très difficile – y compris pour leurs concepteurs – d’expliquer leurs prédictions ou leurs décisions.
C’est un phénomène de “boîte noire” : des algorithmes dont il est possible d’observer les données d’entrée et les données de sortie, mais dont on ne comprend pas le fonctionnement interne. En effet, contrairement aux algorithmes classiques, qui suivent un ensemble de règles prédéterminées, les algorithmes de machine learning génèrent eux-mêmes, de manière automatique, les règles qu’ils utilisent.
Pour des algorithmes plus fiables et équitables
Selon le rapport Villani sur l’intelligence artificielle, l’explicabilité de l’IA est l’une des conditions de son acceptabilité sociale.
C’est tout d’abord “une question de principe”, rappelle le rapport, car une société ne saurait accepter que certaines décisions importantes puissent être prises sans explication : “Sans possibilité d’expliquer les décisions prises par des systèmes autonomes, il apparaît difficile de les justifier. Or, comment accepter l’injustifiable dans des domaines aussi décisifs pour la vie d’un individu que l’accès au crédit, à l’emploi, au logement, à la justice ou à la santé ?”
Plusieurs exemples ont montré que les algorithmes peuvent prendre de “mauvaises” décisions à cause d’erreurs ou de biais présents dans les jeux de données ou le code, d’origine humaine. En rendant leur raisonnement transparent, l’explicabilité aide à identifier l’origine de ces erreurs et biais, et à les corriger.
Cela permet de garantir la fiabilité et l’équité des algorithmes, et donc d’établir la confiance des citoyens. Cette question est centrale pour l’avenir de l’IA, car une défiance de l’opinion publique pourrait freiner son développement.
Améliorer l’explicabilité des algorithmes sans nuire à leur efficacité
Qu’implique précisément le concept d’IA explicable ?
L’explicabilité – ou “interprétabilité” – est une composante de la transparence des algorithmes. Elle décrit la propriété d’un système d’IA à être aisément compréhensible par des humains. Les informations doivent donc être présentées sous une forme intelligible pour des experts (programmeurs, data scientists, chercheurs, etc.), mais aussi pour un public non spécialisé.
En d’autres termes, publier le code source ne suffit pas, non seulement parce que cela ne permet pas systématiquement d’identifier un biais algorithmique (le fonctionnement de certains algorithmes ne pouvant être appréhendé indépendamment des données d’entraînement), mais aussi parce que ce n’est pas lisible pour la grande majorité du public.
Par ailleurs, cela peut entrer en conflit avec le droit de la propriété intellectuelle, le code source d’un algorithme pouvant s’apparenter à un secret industriel.
En outre, l’X-AI recèle plusieurs défis. Le premier tient dans la complexité de certains algorithmes, qui reposent sur des techniques d’apprentissage automatique comme les réseaux de neurones profonds ou les forêts aléatoires, intrinsèquement difficiles à appréhender pour des humains. À cela s’ajoute le nombre important de variables prises en compte.
Deuxième défi : c’est justement cette complexité qui a rendu les algorithmes plus efficaces. En l’état actuel de l’art, augmenter l’explicabilité se fait souvent au détriment de la précision des résultats.
Un nouveau champ de recherche
Les travaux de recherche sur l’X-AI sont encore assez récents. En 2016, l’Agence américaine responsable des projets de recherche pour la Défense (DARPA) a lancé son programme visant à créer un ensemble de techniques d’apprentissage automatique pour “produire des modèles plus explicables, tout en maintenant un haut niveau de performance” et “permettre aux utilisateurs humains de comprendre, faire confiance et gérer efficacement une nouvelle génération de partenaires artificiellement intelligents”.
Il s’agit de favoriser le développement de modèles explicables “par construction” (c’est-à-dire dès la phase de conception), capables de décrire leur raisonnement et de caractériser leurs forces et leurs faiblesses, en combinaison avec la production d’interfaces utilisateurs plus intelligibles.
En France, le CNRS, l’Inria et plusieurs laboratoires de recherche de la région Hauts-de-France ont décidé d’unir leurs forces pour réfléchir à ces questions au sein d’une alliance baptisée “humAIn”. Leurs travaux se basent notamment sur un ensemble de techniques d’IA symbolique, “fondées sur des représentations ‘symboliques’ (lisibles par l’homme)”.
Côté start-up, on peut citer craft ai, qui propose des API d’IA “as a service”. Cette jeune pousse française a choisi de limiter son offre à des modèles explicables en s’appuyant sur les arbres de décision, graphes qui représentent sous forme de séquences de décisions une hiérarchie de la structure des données en vue de la prédiction d’un résultat. Elle mène un gros effort de recherche pour améliorer ces algorithmes, les industrialiser et les rendre plus accessibles aux entreprises.
Algorithmes au carré
Le nombre de systèmes d’IA explicables par construction reste limité, ce qui a conduit à l’émergence des “algorithmes qui expliquent les algorithmes”. Il s’agit d’ajouter une surcouche d’explicabilité aux modèles de boîtes noires permettant de comprendre comment et pourquoi un algorithme produit ses résultats, en mettant par exemple en évidence l’importance de certaines variables ou en représentant le processus de prise de décision.
La complexité introduite par le machine learning a permis d’améliorer considérablement les performances des algorithmes dans de nombreux domaines. Cette recherche d’efficacité s’est souvent faite au détriment de leur transparence. Aujourd’hui, l’explicabilité apparaît de plus en plus comme un critère important d’un “bon” algorithme, la réglementation évoluant d’ailleurs dans ce sens. Demain, il s’agira donc de trouver un compromis satisfaisant entre efficacité et explicabilité.
