Dans les entrailles de l’IA : enjeux et méthodes de l’explicabilité

Un homme regarde son écran d'un air songeur
Les systèmes d’IA ont atteint un niveau de complexité tel que les rouages de leur fonctionnement échappent à la compréhension des plus experts. L’explicabilité, en tant que fondement de la transparence, devient un enjeu critique pour la confiance vis-à-vis des algorithmes.

“Une société algorithmique ne doit pas être une société de boîtes noires”, souligne Cédric Villani en 2018 dans son rapport sur l’IA. De fait, les systèmes d’IA ont investi notre vie quotidienne, jusque dans des domaines critiques comme la santé, la mobilité ou l’éducation. Très avancés, certains modèles de Machine Learning ou de Deep Learning s’apparentent ainsi à des boîtes noires : les données d’entrée et de sortie sont connues et claires, mais le traitement permettant de cheminer des unes aux autres ne l’est pas.

L’explicabilité, un fondement de la transparence

Celle-ci peut répondre à différents besoins et cas d’usages. Il peut s’agir d’un concepteur d’algorithmes voulant corriger ou améliorer son modèle, d’un client qui souhaiterait connaître les raisons ayant conduit à un refus de crédit sur la base d’une décision automatisée, d’un éditeur désirant s’assurer de la conformité de son outil…

Un sujet exploré en recherche, selon différentes approches

La thématique est d’autant plus essentielle que l’environnement réglementaire devient toujours plus contraignant. Le RGPD établit déjà des obligations spécifiques de transparence dans le domaine des décisions entièrement automatisées, tandis qu’un nouveau cadre se prépare en Europe, prévoyant une obligation générale de gestion de risques, et une de transparence et d’explicabilité pour les systèmes les plus risqués.

L’explicabilité est un pivot de la transparence de l’IA : être capable de fournir la bonne information ou la bonne explication, à la bonne personne, au bon moment.

Ces dernières années, un écosystème de recherche dynamique s’est développé autour de l’explicabilité de l’IA, et diverses techniques et approches de mise en œuvre ont émergé. C’est le cas notamment des outils basés sur les variables, tels Shap ou LIME pour les plus connus. Ce dernier propose d’expliquer une décision pour une instance donnée par analyse de son voisinage, en établissant quelle(s) variable(s) a eu le plus d’impact dans la prédiction finale.

La preuve par l’exemple

Au sein de la Recherche d’Orange, un projet de thèse s’intéresse plus particulièrement à la méthode d’explicabilité par les exemples contrefactuels, préférée à l’approche précédente parfois instable. Il s’agit, pour une décision donnée, de chercher l’exemple le plus proche possible du cas étudié mais ayant obtenu une décision différente. Ainsi, l’expert ou le client lui-même va pouvoir identifier quelles sont les différences entre son cas et un autre, et sur quels paramètres il faudrait jouer afin de parvenir à la même décision. “Dans nos travaux, cette méthode est appliquée à un cas d’usage marketing – pour prédire le churn (résiliation) et déterminer quelles valeurs de variables modifier afin de conserver un client. Elle présente plusieurs avantages, dont celui de pouvoir produire l’explication en même temps que la décision, d’être intelligible pour un non-expert et d’être actionnable : les actions à mener pour changer la décision sont clairement identifiées. Au-delà de couvrir l’enjeu de confiance, la transparence doit contribuer à ce que les personnes reprennent le contrôle dans la mise en œuvre des décisions qui impactent leur vie.”

Au-delà de la solution technique qui soutient la méthode d’explicabilité, le projet de recherche intègre également des travaux sur l’ergonomie, afin de veiller à la bonne utilisabilité de la solution et de la pertinence des explications apportées.

A lire aussi sur Hello Future

Deux scientifiques examinent des données sur un écran dans un laboratoire

Alerte sismique : un réseau de neurones convolutifs surveille le champ de gravité terrestre

Découvrir
JWST

L’IA facilite l’exploitation de la quantité astronomique de données spatiales

Découvrir
Une femme s'identifie sur son téléphone et sur son ordinateur

IAlerting : protéger les clients du piratage en ligne

Découvrir

Economiser encore plus d’énergie grâce à l’IA coopérative

Découvrir
Arbres

Anticiper les maladies dans les oliveraies grâce à l’IA

Découvrir
Un homme regarde des données sur une tablette

L’IA générative, une nouvelle approche pour pallier la rareté des données

Découvrir
Des chercheurs analysent des données sur un tableau numérique.

Quand l’évolution des espèces inspire les algorithmes

Découvrir