• Les techniques d'IA explicable regroupent des méthodes et des processus destinés à révéler la logique de fonctionnement d'un algorithme, et à fournir des explications claires sur le processus de décision de l'IA à ses utilisateurs.
• Il existe d’ores et déjà une grande diversité de techniques selon le contexte, le public visé et l’impact de l’algorithme. Et c’est sans compter le développement des IA génératives, qui soulève de nouveaux défis en matière de techniques d’explicabilité.
Choix de méthodes adaptées
II n’existe pas de méthode universelle d’explicabilité qui convienne à tous les types de modèles d’IA et de données et à tous les domaines d’application. Le choix d’une méthode va dépendre du contexte tel que le public visé par l’explication (concepteurs des IA, régulateurs, clients ou utilisateurs finaux, experts métiers) ou le niveau d’impact de l’algorithme (l’explication d’un accident d’une voiture autonome n’a pas le même degré d’importance que celle d’un algorithme de recommandation de vidéos). Les cadres légaux et réglementaires diffèrent selon les zones géographiques. [Explicabilité des systèmes d’intelligence artificielle : quels besoins et quelles limites ?]
L’environnement opérationnel de l’explicabilité, par exemple son caractère obligatoire pour certaines applications critiques ; le besoin de certification avant le déploiement ou la facilitation d’utilisation par les usagers sont également à prendre en compte, ainsi que la nature des données (textes, images, données tabulaires, séries temporelles ou graphes). La diversité des contextes explique donc la grande variété des solutions techniques d’explicabilité disponibles (Ali et al.).
Cependant, on peut identifier plusieurs dimensions générales dans lesquelles s’inscrivent les techniques :
- Modèle explicable by design, conçu dès le départ pour être interprétable (comme les modèles linéaires ou les arbres de décision) versus explicabilité a posteriori (ou post hoc) qui est appliquée après l’apprentissage du modèle de décision..
- Explication locale qui vise à expliquer la décision d’un modèle pour une instance en particulier, ou globale dont l’objectif est d’expliquer le fonctionnement général du modèle, pour toutes les instances.
- Explication statique qui fournit des explications fixes qui ne changent pas en fonction de l’interaction de l’utilisateur ou au contraire interactive qui permet aux utilisateurs d’explorer les résultats, offrant ainsi une compréhension plus dynamique et personnalisée des décisions du modèle.
Ces dimensions ne s’excluent pas mutuellement. Les méthodes a posteriori peuvent être globales ou locales. Elles peuvent s’appliquer à tout type d’algorithme d’apprentissage automatique ou être spécifiques à une architecture particulière.
Les solutions technologiques doivent être construites au cas par cas avec les utilisateurs.
Explication produite et ses formes variées
Une explication produite peut prendre des formes variées (Bodria et al) :
- Représentations visuelles sous forme de graphiques ou de cartes de chaleur qui permettent aux utilisateurs de visualiser quelles caractéristiques ont le plus influencé la prédiction. Ce type de représentation est particulièrement adapté à la visualisation de zones d’intérêt dans les images (concepts ou ensembles de pixels). On peut citer les algorithmes tels que Grad-CAM (Gradient-weighted Class Activation Mapping) ou les cartes de saliences pour ce type d’explications.
- Représentations numériques telles que des scores d’importance indiquant l’impact des différentes variables sur la prédiction (obtenus avec des algorithmes comme LIME ou SHAP) ou des exemples (prototypes qui capturent les caractéristiques d’un ensemble de données ou contrefactuels qui montrent comment la modification d’une ou de plusieurs variables de l’exemple à expliquer aurait pu faire changer la décision du modèle). Ces types d’explications sont bien adaptés aux données tabulaires.
- Représentations textuelles sous forme de descriptions verbales des raisons qui expliquent une décision ou de règles logiques qui expliquent globalement le comportement du modèle.
- Modèle de substitution plus simple que le modèle de décision, directement interprétable (modèle linéaire ou arbre de décision par exemple), qui approxime localement le modèle complexe.
La popularité croissante et les promesses technologiques de l’IA générative (en particulier les modèles de langages) appellent au développement de méthodes d’explicabilité spécifiquement adaptées. Pour le cas des modèles de langage, on peut citer par exemple les scores d’importance qui permettent d’identifier les mots d’une requête sur lesquels se base le modèle pour fournir sa réponse, ou encore des méthodes qui identifient les exemples d’entrainement les plus influents utilisées lors de l’apprentissage du modèle. Néanmoins, à l’heure où nous rédigeons cet article, l’explicabilité de ces modèles en est encore à ses balbutiements, la complexité croissante en termes de calculs et de quantité de données amenant son lot de nouveaux défis techniques.
L’évaluation des explications
L’évaluation des explications est également un enjeu. Il n’existe ainsi pas de définition de ce qu’est une « bonne explication ». On peut seulement tenter de lister un ensemble de propriétés quantitatives ou qualitatives que l’on souhaiterait obtenir :
- Fidélité : l’explication rejoint parfaitement ce que prédit le modèle « boîte noire».
- Robustesse : de légères variations dans les caractéristiques d’une instance ou dans le fonctionnement du modèle ne modifient pas substantiellement l’explication.
- Réalisme : l’explication ressemble à des instances de la base d’apprentissage du modèle de décision.
- Actionnabilité : l’utilisateur doit pouvoir agir sur certaines caractéristiques pour faire évoluer la décision.
- Enfin, la compréhensibilité constitue un enjeu majeur dans la restitution (forme, représentation des explications) : les explications générées doivent être faciles à comprendre pour l’humain susceptible d’en avoir besoin.
Le défi de la causalité des explications
Une des limites de la plupart des méthodes d’explicabilité actuelles est qu’elles ne prennent pas en compte les potentiels liens de causalité entre les différentes variables. En effet, les systèmes d’IA reposent généralement sur l’apprentissage de corrélations entre variables, mais sans être capables de raisonner en termes de causes et effets. Cela peut amener à des contresens, ou à des explications irréalistes. Pour pallier cela, un certain nombre de versions « causales » de méthodes d’explicabilité existantes ont récemment été étudiées, telles que Causal SHAP (basé sur SHAP) ou CaLIME (basé sur LIME).
L’explicabilité des modèles d’optimisation
L’explicabilité des algorithmes d’optimisation est au croisement des domaines de l’IA et de la Recherche Opérationnelle (RO). Les algorithmes de RO sont utilisés pour l’optimisation des décisions et des processus dans des systèmes complexes à l’aide de modèles mathématiques (router un ensemble de trains sur un réseau, planifier les tâches productives d’une usine ou encore optimiser une chaîne d’approvisionnement). Prenons le cas du routage de trains. Il est possible de définir clairement les conditions d’un routage réalisable, comme la non-concomitance de plusieurs trains sur la même voie, ou des retards limités à 10 minutes. Il n’en demeure pas moins que la formulation mathématique d’un problème RO est souvent opaque pour l’utilisateur final, surtout si ce modèle possède des milliers de variables et contraintes. C’est là où une approche d’explicabilité en RO devient cruciale.
Une approche possible pour rendre un outil de RO plus explicable consiste à y intégrer des explications contrefactuelles. Dans ce cadre, le décideur peut questionner l’outil sur certaines parties de la solution et demander des explications ou même des modifications. En guise d’illustration, imaginons un décideur chargé de planifier la tournée journalière de ses camions de livraisons. Il peut arriver que la solution retournée par l’outil de planification ne soit pas satisfaisante, par exemple si l’un des livreurs se voit affecter une tournée beaucoup plus longue que les autres. Le décideur peut questionner l’outil sur les raisons de cette longue tournée et si nécessaire demander ce qu’il faudrait changer au paramétrage de l’outil pour la raccourcir (Lerouge et al.).
Au sein d’Orange, des algorithmes d’optimisation sont utilisés notamment pour planifier certaines campagnes marketing. Ils permettent chaque semaine d’affecter des communications pertinentes à nos millions de clients. Rendre ces algorithmes d’affectation explicables et compréhensibles par les équipes marketing est donc un enjeu majeur.
De manière générale l’analyse des contextes d’usage d’un Système d’IA est fondamentale pour déterminer les besoins en explications des destinataires potentiels, et le format pertinent de présentation de ces explications.
Perspectives
Une des approches possibles de mise en œuvre de l’explicabilité consiste à mobiliser la conception centrée utilisateur, un processus de conception itératif qui met l’accent sur l’implication des utilisateurs à tous les stades de la conception et du développement qu’ils soient utilisateurs exploitant du système ou finaux [L’approche centrée utilisateur de l’explicabilité de l’IA].
Emilie Sirvent-Hien
