Auditer l’IA : quand les algorithmes sont passés au crible

• Algorithme
• Machine learning
• RSE
• Société

Partager sur Twitter : Auditer l’IA : quand les algorithmes sont passés au crible (Nouvelle fenêtre) Partager sur Linkedin : Auditer l’IA : quand les algorithmes sont passés au crible (Nouvelle fenêtre)

“Un audit interne prédéploiement permet d’intervenir de manière proactive, plutôt que réactive, et d’anticiper les anomalies et risques potentiels.”

La transparence des algorithmes est une composante essentielle d’une intelligence artificielle éthique et responsable. Ce concept a émergé en réponse à l’utilisation croissante de systèmes d’IA dans des domaines sensibles et leurs impacts sur la vie des individus et de la société dans son ensemble.

Alors que l’IA est un outil puissant pour lutter contre les inégalités, les exemples abondent en effet de cas où les modèles d’apprentissage automatique et les jeux de données peuvent reproduire, voire amplifier, des biais et discriminations. Aux États-Unis, le logiciel de recrutement d’Amazon ou le logiciel de justice COMPAS en fournissent l’illustration.

Pour identifier l’origine des erreurs, les corriger et détecter les risques lors de la phase de développement d’une IA, il faut pouvoir contrôler et tester les algorithmes tout au long de leur cycle de vie grâce à un processus systématique et documenté. En d’autres termes, il faut pouvoir les auditer.

Les deux volets de l’auditabilité

Complémentaire de la notion d’explicabilité, l’auditabilité décrit la possibilité d’évaluer des algorithmes, des modèles et des jeux de données ; d’analyser le fonctionnement, les résultats et les effets, même inattendus, des systèmes d’IA. Cette notion comporte deux volets, l’un technique, l’autre éthique.

Le volet technique consiste à mesurer la performance du système selon plusieurs critères (fiabilité, exactitude des résultats, etc.). Le volet éthique consiste à appréhender ses impacts individuels et collectifs, et vérifier qu’il ne présente pas de risque d’atteinte à certains principes, comme le respect de la vie privée ou l’équité.

On testera par exemple le caractère non discriminatoire d’un algorithme d’apprentissage automatique en lui soumettant des données d’entrées ou des profils d’utilisateurs fictifs.

Audits externes et internes

Si de nombreuses études soulignent l’importance des audits externes, réalisés par des tiers après le déploiement du modèle, l’intérêt de la méthode proposée par des chercheurs de Google AI et le Partnership on AI dans un article intitulé “Combler l’écart de responsabilité de l’IA” est qu’elle porte sur un audit interne, en amont du développement et durant toute la phase de conception.

Les audits externes sont indépendants et répondent davantage à la nécessité d’établir des contrôles certifiés ayant force probante. Néanmoins, ils sont intrinsèquement limités par un manque d’accès aux processus et informations internes – comme le code source ou les données d’entraînement – relevant parfois du secret commercial.

En effet, des entreprises comme Google, qui ont lourdement investi dans le développement de systèmes d’IA, sont réticentes à divulguer ces informations à des auditeurs externes. Ainsi la protection de la propriété intellectuelle et du secret des affaires représente-t-elle un obstacle important à la transparence.

Un audit interne prédéploiement permet d’intervenir de manière proactive, plutôt que réactive, et d’anticiper les anomalies et risques potentiels. Il complète l’audit externe et améliore la transparence grâce à la production, à chaque étape du développement produit, d’un certain nombre de documents, qui pourront être consultés par les experts externes.

La méthode SMACTR, une pièce en cinq actes

Inspiré de pratiques issues d’autres industries, le cadre d’audit proposé par Google AI et le Partnership on AI se décompose en cinq phases – cadrage, cartographie, collection, test et réflexion – et s’appuie sur des ensembles de documents, appelés “artefacts”, produits par l’auditeur et les équipes de développement. C’est la méthode SMACTR, pour Scoping, Mapping, Artifact Collection, Testing, and Reflection.

La phase de cadrage vise à délimiter le périmètre de l’audit en examinant les motivations et l’impact prévu du système, et en confirmant les principes supposés guider son développement. Cela passe par un examen éthique, qui doit inclure une diversité de points de vue pour limiter au maximum “l’encodage” de biais, et par une évaluation de l’impact social. Cette phase vise à répondre aux questions telles que “Comment est-ce que l’utilisation du système peut changer la vie des individus ?” et “Quels sont les préjudices sociaux, économiques et culturels potentiels ?”.

La phase de cartographie consiste à analyser des informations sur les différentes parties prenantes et sur le cycle de développement du produit. Elle s’appuie notamment sur une cartographie des différents collaborateurs, un examen de la documentation existante et sur les résultats d’une enquête ethnographique de terrain (réalisée en menant des entretiens avec les personnes clés de l’organisation). Cette enquête doit permettre de mieux comprendre comment certaines décisions, comme le choix du jeu de données ou de l’architecture du modèle, ont été prises et influeront sur le comportement du système.

Lors de la troisième phase, dite de collection, l’auditeur dresse un inventaire de tous les documents supposés avoir été produits lors du développement et nécessaires pour débuter l’audit. Cela inclut des cartes modèles (“model cards”) et des fiches de données, deux standards complémentaires visant à améliorer l’auditabilité des algorithmes. Les cartes modèles décrivent les caractéristiques de performance du modèle. Les fiches de données s’intéressent particulièrement au processus de collecte de données, et sont destinées à aider l’utilisateur du jeu de données à prendre des décisions éclairées.

Ensuite, lors de la phase de test, les auditeurs interagissent avec le système pour évaluer s’il est conforme aux valeurs éthiques de l’organisation. Ils peuvent par exemple, en s’inspirant d’exemples contradictoires (où l’on “trompe” le système en le nourrissant avec des fausses données d’entrée pour observer les résultats produits), lui soumettre de faux profils d’utilisateurs, en particulier issus de groupes, pour vérifier s’il produit des résultats biaisés. Cette phase comprend également un tableau d’analyse des risques éthiques, qui prend en compte la combinaison de la probabilité d’une défaillance (estimée en fonction de l’occurrence de certaines défaillances observées lors des tests) et de sa gravité (évaluée lors des étapes précédentes) pour définir l’importance du risque.

Enfin, la phase de réflexion consiste à confronter les résultats obtenus aux attentes éthiques préalablement définies et à présenter une cartographie des risques décrivant les principes pouvant être menacés lors du déploiement du système. Les auditeurs s’attacheront ensuite à proposer un plan pour atténuer ces risques, l’objectif étant de parvenir à un seuil de risque tolérable préalablement défini. Par exemple, si les auditeurs découvrent que les performances d’un classificateur sont inégales pour certains sous-groupes, quel niveau de parité faut-il atteindre ?

L’écueil de “l’audit-washing”

Comme le soulignent les chercheurs de Google AI et de Partnership on AI dans leur article, l’audit interne présente certaines limites, principalement liées à la difficulté, pour l’auditeur interne, de rester indépendant et objectif dans l’exécution de sa mission. De la même manière que les systèmes d’IA sont indissociables de leurs développeurs, “l’audit n’est jamais isolé des pratiques et des personnes qui le réalisent”.

Pour éviter qu’il ne devienne un simple outil marketing, visant à donner une image trompeuse de responsabilité l’entreprise, les auditeurs doivent donc être conscients de leurs propres biais et opinions.

D’une manière générale, le processus d’audit est nécessairement lent, méticuleux et méthodique, ce qui tranche avec le rythme de développement typique des technologies d’IA. Il peut même conduire à abandonner le développement du système audité lorsque les risques l’emportent sur les avantages. Mais c’est un processus nécessaire, à la fois pour garantir la fiabilité, la loyauté et l’équité des algorithmes et pour permettre leur acceptabilité sociale.