Dans les entrailles de l’IA : enjeux et méthodes de l’explicabilité

Un homme regarde son écran d'un air songeur
Les systèmes d’IA ont atteint un niveau de complexité tel que les rouages de leur fonctionnement échappent à la compréhension des plus experts. L’explicabilité, en tant que fondement de la transparence, devient un enjeu critique pour la confiance vis-à-vis des algorithmes.

“Une société algorithmique ne doit pas être une société de boîtes noires”, souligne Cédric Villani en 2018 dans son rapport sur l’IA. De fait, les systèmes d’IA ont investi notre vie quotidienne, jusque dans des domaines critiques comme la santé, la mobilité ou l’éducation. Très avancés, certains modèles de Machine Learning ou de Deep Learning s’apparentent ainsi à des boîtes noires : les données d’entrée et de sortie sont connues et claires, mais le traitement permettant de cheminer des unes aux autres ne l’est pas.

L’explicabilité, un fondement de la transparence

Celle-ci peut répondre à différents besoins et cas d’usages. Il peut s’agir d’un concepteur d’algorithmes voulant corriger ou améliorer son modèle, d’un client qui souhaiterait connaître les raisons ayant conduit à un refus de crédit sur la base d’une décision automatisée, d’un éditeur désirant s’assurer de la conformité de son outil…

Un sujet exploré en recherche, selon différentes approches

La thématique est d’autant plus essentielle que l’environnement réglementaire devient toujours plus contraignant. Le RGPD établit déjà des obligations spécifiques de transparence dans le domaine des décisions entièrement automatisées, tandis qu’un nouveau cadre se prépare en Europe, prévoyant une obligation générale de gestion de risques, et une de transparence et d’explicabilité pour les systèmes les plus risqués.

L’explicabilité est un pivot de la transparence de l’IA : être capable de fournir la bonne information ou la bonne explication, à la bonne personne, au bon moment.

Ces dernières années, un écosystème de recherche dynamique s’est développé autour de l’explicabilité de l’IA, et diverses techniques et approches de mise en œuvre ont émergé. C’est le cas notamment des outils basés sur les variables, tels Shap ou LIME pour les plus connus. Ce dernier propose d’expliquer une décision pour une instance donnée par analyse de son voisinage, en établissant quelle(s) variable(s) a eu le plus d’impact dans la prédiction finale.

La preuve par l’exemple

Au sein de la Recherche d’Orange, un projet de thèse s’intéresse plus particulièrement à la méthode d’explicabilité par les exemples contrefactuels, préférée à l’approche précédente parfois instable. Il s’agit, pour une décision donnée, de chercher l’exemple le plus proche possible du cas étudié mais ayant obtenu une décision différente. Ainsi, l’expert ou le client lui-même va pouvoir identifier quelles sont les différences entre son cas et un autre, et sur quels paramètres il faudrait jouer afin de parvenir à la même décision. “Dans nos travaux, cette méthode est appliquée à un cas d’usage marketing – pour prédire le churn (résiliation) et déterminer quelles valeurs de variables modifier afin de conserver un client. Elle présente plusieurs avantages, dont celui de pouvoir produire l’explication en même temps que la décision, d’être intelligible pour un non-expert et d’être actionnable : les actions à mener pour changer la décision sont clairement identifiées. Au-delà de couvrir l’enjeu de confiance, la transparence doit contribuer à ce que les personnes reprennent le contrôle dans la mise en œuvre des décisions qui impactent leur vie.”

Au-delà de la solution technique qui soutient la méthode d’explicabilité, le projet de recherche intègre également des travaux sur l’ergonomie, afin de veiller à la bonne utilisabilité de la solution et de la pertinence des explications apportées.

A lire aussi sur Hello Future

Pranavesh Panakkal et Dr. Jamie Ellen Padgett expliquant le fonctionnement de leur modèle OpenSafe Fusion.

Inondations : comment le machine learning peut aider à sauver des vies

Découvrir
décryptage de la lettre de Charles Quint - Cécile Pierrot à la bibliothèque

L’IA ouvre de nouveaux outils à la recherche en histoire

Découvrir
Une personne en blouse de laboratoire et lunettes de protection tient un microprocesseur dans sa main gantée. L'environnement est lumineux et moderne, suggérant un laboratoire de recherche ou de développement technologique.

Biais algorithmiques : le hardware influence également les réseaux de neurones

Découvrir
GettyImages - controverses IA - AI controversis

Controverses autour de l’IA : des questions éthiques aux enjeux de régulation

Découvrir

Cybersécurité : attaques et détournements des IA

Découvrir
PLEAIS

P-C. Langlais (Pleais) : « Nos modèles de langue sont entraînés sur des corpus ouverts »

Découvrir