● L’un de ses fondateurs, Subho Majumdar, nous explique pourquoi il est important de sensibiliser le plus grand nombre, développeurs, dirigeants et citoyens, aux questions éthiques soulevées par les IA.
● Les Bias Buccaneers espèrent ainsi prospérer à l’international en lançant de nouveaux concours tout en invitant les ingénieurs et les développeurs à s’ouvrir au monde qui les entoure pour concevoir des IA plus intègres.
« Renégats », « inadaptés », « boucaniers »… ainsi ont décidé de se définir l’équipe atypique dont est membre Subho Majumdar. Le jour, cet expert en intelligence artificielle est responsable des projets IA chez un géant de la tech à Seattle, tandis que la nuit, il organise d’insolites chasses au trésor. Ce groupe, qui reprend les éléments de langage des pirates, ce sont les « Bias Buccaneers », ou « boucaniers » des biais algorithmiques. Sa mission : organiser des concours, ou bounties, pour encourager leur communauté à repérer les biais algorithmiques dans les modèles d’intelligence artificielle afin de permettre à ces innovations de continuer à respecter le droit à la vie privée et, surtout, d’être éthiques. « Le machine learning et l’intelligence artificielle sont perçus comme des boîtes noires, souligne Subho Majumdar. Il est également important qu’un public plus large, et pas uniquement constitué de développeurs, se penche sur la question des biais. » Le premier concours, qui s’est tenu en décembre 2022, consistait à créer un modèle d’apprentissage automatique d’images de visages capable de détecter des images biaisées. Un événement sponsorisé par des sociétés comme Microsoft, Amazon ou la start-up Robust Intelligence, qui ont remis des prix allant jusqu’à 6000 dollars.
Des biais humains aux biais fonctionnels
Il existe potentiellement des milliers de biais sur les modèles d’intelligence artificielle qui connaissent actuellement une croissance sans précédent. Dans les faits, et pour reprendre l’exemple de la détection de visages, certaines IA ont déjà confondu des visages de personnes noires avec des animaux. « Les modèles de langage sur lesquels les IA sont construites dépendent toujours du contexte », raison pour laquelle il est important de scruter le fonctionnement de chaque IA, au cas par cas, pour détecter les biais que chacun d’entre eux peut contenir. « En finance, par exemple, il faut trouver des moyens pour que les algorithmes respectent la loi afin de ne pas discriminer certaines catégories de population. » S’il les conçoit, l’humain n’est finalement pas toujours directement impliqué : il existe des biais de performance, dont les implications peuvent être catastrophiques. « Prenons les systèmes intégrés dans les véhicules autonomes : ils doivent être en mesure de fournir les mêmes performances dans différentes conditions météorologiques », ce qui nécessite donc d’entraîner les données de manière juste sur différents référentiels.
Les ingénieurs et les développeurs ne sont pas conscients des problèmes éthiques et le dialogue n’est pas fluide avec les équipes de direction
Une opportunité pour les entreprises
Pour les entreprises, organiser ce type de chasse aux biais est bénéfique. Ben Colman, l’un des cofondateurs de cette organisation, dirige une start-up baptisée Reality Defender, une société technologique spécialisée dans la détection de deepfakes. Pour lui, « organiser un bounty permet de trouver des biais dans ses systèmes informatiques afin de gagner en précision dans ses capacités de détection. » Pour d’autres, cela permet de corriger des erreurs qui peuvent poser des questions éthiques : « On a par exemple étudié un modèle de machine learning qui taillait des images automatiquement. Cela a marché quelques jours et puis nous nous sommes rendu compte que, quand il s’agissait d’images de femmes, l’outil les retaillait de telle sorte qu’elles se retrouvaient dans des positions compromettantes », note Subho Majumdar.
Sensibiliser les développeurs
L’ambition des Bias Buccaneers est de continuer à faire grandir leur communauté, d’organiser davantage d’événements et de sensibiliser le plus grand nombre. « Le problème que l’on rencontre est qu’il y a des directives importantes sur la manière dont doivent fonctionner les IA en entreprise, mais personne ne sait comment les implémenter. C’est dû au fait que les ingénieurs et les développeurs ne sont pas conscients des problèmes éthiques, et que le dialogue n’est pas fluide avec les équipes de direction. » C’est la raison pour laquelle Subho Majumdar estime qu’il est important de créer un cadre de travail propice au dialogue entre les différents métiers dans les organisations. « J’invite également les développeurs à toujours réfléchir à quel peut être l’impact de leurs technologies sur des personnes qui ne leur ressemblent pas et de créer du dialogue avec des personnes qui viennent de minorités, mais également avec les autres services dans les entreprises qui ont une approche différente sur les sujets éthiques. » Il compte, par ailleurs, sur la compréhension des dirigeants quant au mode de fonctionnement des développeurs.
