• Les travaux sur ces sujets ont pris une importance considérable compte tenu des risques humains et sociaux que pose l’utilisation des techniques d’apprentissage automatique, en particulier les réseaux de neurones profonds ou, plus récemment, les grands modèles de langages.
Qu’est-ce que l’explicabilité et pourquoi en a-t-on besoin ?
Dans le contexte de la diversité de définitions, nous présentons ici celle du standard ISO 22989 de référence sur les terminologies du domaine de l’IA. L’ y est définie comme la propriété d’un système d’IA à indiquer les facteurs importants influençant les résultats du système d’une manière compréhensible par les humains. Mais cette définition peut être élargie à des éléments rationnels pour expliquer le comportement du système au-delà des résultats.
Dans le même standard, la transparence d’un système d’IA est la propriété que les parties prenantes reçoivent les informations pertinentes sur le système. Cela peut inclure ses caractéristiques avec les éléments d’explications, ses limitations ou les choix de conception.
L’interprétabilité en revanche s’attache à l’objectif de compréhension pour une audience donnée du comportement du système en utilisant ou non des méthodes d’explicabilité.
Plusieurs raisons sont avancées pour justifier l’importance de ces sujets et leur intégration dans l’IA responsable :
- Les systèmes à base d’IA peuvent mal fonctionner et produire des résultats erronés. Il est donc utile et même nécessaire de comprendre pourquoi afin d’améliorer ou de mieux cerner le domaine d’application du système et permettre de mieux exploiter les résultats produits par l’IA,
- Les utilisateurs ou toute personne concernée doivent pouvoir comprendre ou obtenir des explications des résultats produits par ces systèmes qui les affectent.
Par exemple, l’introduction de l’IA dans les entreprises marque le début d’un processus continu d’apprentissage et d’adaptation. L’IA bouleverse l’organisation du travail. Les conclusions du LaborIA Explorer ouvrent sur des recommandations pour outiller le dialogue social et technologique en faveur de l’intégration dite « capacitante » des systèmes d’IA dans le monde du travail. L’une de ces recommandations est de rendre les systèmes d’IA « explicables », pour permettre aux décideurs et aux utilisateurs de comprendre leur fonctionnement et de faire confiance aux résultats créés.
- Le respect de la conformité et la détermination de la chaîne de responsabilité (accountability) par exemple en cas de dysfonctionnement conduisant à des accidents est impossible sans compréhension du fonctionnement du système,
- Les algorithmes et les données d’apprentissage peuvent être entachés de biais sociaux qu’il convient d’identifier et d’éliminer. En ce sens les méthodes d’explicabilité peuvent contribuer à comprendre l’origine des biais sans remplacer les méthodes spécifiques de gestion de biais (cf A Critical Survey on Fairness Benefits of Explainable AI).
Les études montrent que l’explicabilité ne constitue pas un facteur systématique de confiance et qu’elle peut même engendrer de la méfiance.
Les limites et risques de l’explicabilité en termes de confiance, de manipulation et de sécurité
Si l’objectif est de donner confiance aux utilisateurs, la relation entre confiance et explicabilité n’est cependant pas systématique. Certaines études (Kästner et al.) tendent même à montrer l’inverse, c’est-à-dire une dégradation de la confiance lorsque des explications sont fournies aux utilisateurs ou des phénomènes de confiance excessive pouvant être délétères.
Plus précisément, deux tendances inverses ont été observées : si un système à base d’IA présente des prédictions et des explications conformes aux idées préconçues de l’utilisateur, ce dernier risque de faire trop confiance à la prédiction. Si le système présente des prédictions et des explications qui vont à l’encontre des idées préconçues de l’utilisateur, ce dernier risque de se méfier de la prédiction. Ces études montrent que l’explicabilité ne constitue pas un facteur systématique de confiance et qu’elle peut même engendrer de la méfiance. Il convient donc de bien étudier le contexte d’usage du système et évaluer ces risques pour déterminer le niveau d’explicabilité nécessaire et les objectifs visés à travers celle-ci.
Par ailleurs, si la diffusion d’informations supplémentaires sur le fonctionnement d’un système d’IA pour le rendre plus explicable peut présenter des avantages réels, elle peut aussi créer de nouveaux risques de distorsion. Ainsi comme le montrent les chercheurs Erwan le Merrer et Gilles Trédan, les explications peuvent être manipulées. Il est en effet très facile pour une entité malveillante de falsifier les explications de son algorithme décisionnel de la même manière que le videur d’une boîte de nuit peut affirmer qu’il ne vous laisse pas entrer parce que vous n’avez pas la bonne cravate ! La véritable raison peut toujours être couverte d’une autre explication apparemment plausible. Il suffit pour cela de créer un nouveau modèle de décision à même de générer la même conclusion que le précédent, mais en masquant sa véritable raison par un autre motif donnant le sentiment d’une décision légitime (par exemple en omettant la raison réelle de l’exclusion de la boîte de nuit, cachant son caractère en vérité discriminatoire). L’objectif de la falsification est de donner l’impression que le modèle « boîte noire » présente un bon comportement, alors que ce n’est pas forcément le cas.
Si l’explicabilité permet de lutter contre les suspicions d’injustice, elle peut également augmenter les risques en termes de sécurité ou d’exploitation des vulnérabilités potentielles des systèmes par les utilisateurs. Il s’agit du paradoxe de la transparence de l’IA, qui s’avère être une limite à considérer pendant la conception des systèmes d’IA. En effet, la publication d’informations supplémentaires peut rendre l’IA vulnérable aux attaques : en comprenant le mode de « raisonnement » de l’IA, les pirates auront plus de facilité à tromper l’algorithme.
Une autre préoccupation est la protection des algorithmes propriétaires, car les chercheurs ont démontré récemment que le vol d’algorithmes entiers peut être rendu possible par la simple étude de leurs explications. Ainsi, un attaquant qui accède aux prédictions et aux explications d’un algorithme via une API de requêtage peut en déduire un ensemble de données d’apprentissage suffisant pour lui permettre de reconstruire une copie fidèle et performante du modèle de décision original.
Enfin, les divulgations peuvent rendre les entreprises plus sensibles aux poursuites judiciaires ou aux actions réglementaires.
Les obligations légales en matière d’explicabilité
Côté règlementation, l’explicabilité est inscrite dans plusieurs textes règlementaires et peut prendre plusieurs formes.
Tout d’abord, dans le règlement pour la protection des données personnelles européen, lorsqu’un système d’IA utilise des données personnelles, le droit à l’information et le principe de transparence s’appliquent. Il impose au responsable de la collecte des données, de leur éventuelle annotation, et de leur utilisation à des fins d’entraînement d’un modèle d’IA, de fournir une information pertinente sur les conditions dans lesquelles ces données sont traitées, et notamment sur les sources de la collecte.
Dans le domaine de la santé, la loi relative à la bioéthique a introduit une obligation d’information à la charge des professionnels concepteurs ou utilisateurs d’une intelligence artificielle (IA). Dans le domaine des algorithmes utilisés par l’Etat, en France, la loi pour une République Numérique impose aux administrations de lister publiquement tous les outils algorithmiques qu’elles utilisent et de publier leurs règles.
Dans le règlement européen pour réguler les systèmes d’IA (AI act) les obligations de transparence et d’information des utilisateurs sont mentionnées pour les systèmes à haut risque avec un nouveau droit à l’explicabilité pour les personnes impactées, pour les systèmes d’IA avec interaction humaine tels que les chatbots Enfin pour les fournisseurs de modèle à usage général une obligation de documentation technique est demandée. L’explicabilité pourra également jouer un rôle important pour aider à définir les responsabilités entre les acteurs en cas de dommage créé par une IA.
Pour être conformes à la réglementation en termes d’IA, les organisations devront aussi s’adapter au contexte local en fonction de l’usage de leurs déploiements.
Les régulations sont différentes selon les zones géographiques et par domaine d’application. Par exemple, aux Etats-Unis, dans le domaine bancaire, il existe une obligation de fournir un motif pour les banques en cas de refus de crédit bancaire (Equal Opportunity Credit Act). Dans le domaine du recrutement, la New York’s Automated Employment Decision Tools (AEDTs) law vise la transparence et l’équité avec l’obligation d’audit avant déploiement. En Chine il existe une loi qui met en place un registre des algorithmes de recommandation et demande des éléments d’explication.
Conclusion
Si l’explicabilité de l’IA permet d’indiquer les facteurs importants influençant les résultats d‘un système d’une manière compréhensible pour répondre aux besoins des personnes, exploitants, utilisateurs ou auditeurs, certaines limites en termes de confiance ou de sécurité sont à prendre en compte.
Il convient donc de bien étudier le contexte d’usage du système et évaluer ces risques pour déterminer le niveau d’explicabilité nécessaire et les objectifs visés à travers celle-ci.
86 : le numéro de l’article de la régulation IA qui concerne le nouveau droit à l’explicabilité
En savoir plus :
Et n’oubliez nos autres articles sur le sujet :
L’explicabilité est définie comme la propriété d’un système d’IA à indiquer les facteurs importants influençant les résultats du système d’une manière compréhensible par les humains.
Emilie Sirvent-Hien
Moustafa Zouinar
