“Une société algorithmique ne doit pas être une société de boîtes noires”, souligne Cédric Villani en 2018 dans son rapport sur l’IA. De fait, les systèmes d’IA ont investi notre vie quotidienne, jusque dans des domaines critiques comme la santé, la mobilité ou l’éducation. Très avancés, certains modèles de Machine Learning ou de Deep Learning s’apparentent ainsi à des boîtes noires : les données d’entrée et de sortie sont connues et claires, mais le traitement permettant de cheminer des unes aux autres ne l’est pas.
L’explicabilité, un fondement de la transparence
Celle-ci peut répondre à différents besoins et cas d’usages. Il peut s’agir d’un concepteur d’algorithmes voulant corriger ou améliorer son modèle, d’un client qui souhaiterait connaître les raisons ayant conduit à un refus de crédit sur la base d’une décision automatisée, d’un éditeur désirant s’assurer de la conformité de son outil…
Un sujet exploré en recherche, selon différentes approches
La thématique est d’autant plus essentielle que l’environnement réglementaire devient toujours plus contraignant. Le RGPD établit déjà des obligations spécifiques de transparence dans le domaine des décisions entièrement automatisées, tandis qu’un nouveau cadre se prépare en Europe, prévoyant une obligation générale de gestion de risques, et une de transparence et d’explicabilité pour les systèmes les plus risqués.
L’explicabilité est un pivot de la transparence de l’IA : être capable de fournir la bonne information ou la bonne explication, à la bonne personne, au bon moment.
Ces dernières années, un écosystème de recherche dynamique s’est développé autour de l’explicabilité de l’IA, et diverses techniques et approches de mise en œuvre ont émergé. C’est le cas notamment des outils basés sur les variables, tels Shap ou LIME pour les plus connus. Ce dernier propose d’expliquer une décision pour une instance donnée par analyse de son voisinage, en établissant quelle(s) variable(s) a eu le plus d’impact dans la prédiction finale.
La preuve par l’exemple
Au sein de la Recherche d’Orange, un projet de thèse s’intéresse plus particulièrement à la méthode d’explicabilité par les exemples contrefactuels, préférée à l’approche précédente parfois instable. Il s’agit, pour une décision donnée, de chercher l’exemple le plus proche possible du cas étudié mais ayant obtenu une décision différente. Ainsi, l’expert ou le client lui-même va pouvoir identifier quelles sont les différences entre son cas et un autre, et sur quels paramètres il faudrait jouer afin de parvenir à la même décision. “Dans nos travaux, cette méthode est appliquée à un cas d’usage marketing – pour prédire le churn (résiliation) et déterminer quelles valeurs de variables modifier afin de conserver un client. Elle présente plusieurs avantages, dont celui de pouvoir produire l’explication en même temps que la décision, d’être intelligible pour un non-expert et d’être actionnable : les actions à mener pour changer la décision sont clairement identifiées. Au-delà de couvrir l’enjeu de confiance, la transparence doit contribuer à ce que les personnes reprennent le contrôle dans la mise en œuvre des décisions qui impactent leur vie.”
Au-delà de la solution technique qui soutient la méthode d’explicabilité, le projet de recherche intègre également des travaux sur l’ergonomie, afin de veiller à la bonne utilisabilité de la solution et de la pertinence des explications apportées.
