● Les évolutions de l’IA rendent urgentes la sensibilisation à cette démarche et la promotion d’une technologie plus inclusive. La spécialiste Marcy Charollois souligne l’importance d’intégrer des contenus favorisant cette inclusion afin que les équipes prennent conscience du problème.
● Les développeurs, motivés par des projets technologiquement stimulants, peuvent négliger les aspects éthiques et inclusifs. Mélanger design responsable et approches réflexives est essentiel pour créer des espaces de débat et de réflexion autour de ces enjeux.
De nombreux scandales ont éclaté ces dernières années suite à la reproduction par des systèmes automatisés, des modèles IA, de biais de toutes sortes, induisant une discrimination de personnes racisées ou la génération de contenus sexistes. En première ligne, les CTO (Chief Technical Officers, directeurs de la technologie) font les frais d’équipes de développement peu diversifiées qui, par conséquent, conçoivent des produits biaisés. « Il y a peu de solutions à ce problème, si ce n’est un besoin important de sensibilisation et de communication autour de contenus promouvant une technologie plus inclusive pour que les équipes s’emparent du sujet », explique Marcy Charollois, consultante en inclusion dans le secteur technologique. Le contexte est d’autant plus problématique qu’elle a constaté, comme beaucoup, l’émergence aux États-Unis d’une grande mouvance réactionnaire opposée à la tech inclusive. « Elon Musk a lui-même twitté que les politiques de Diversité, équité et inclusion (DEI) doivent mourir, car beaucoup de personnes blanches majoritaires dans le secteur se sentent oppressées. Cela a désacralisé le besoin d’une vision inclusive dans la conception des produits et services. »
L’inclusion ne vient pas du top down, ce sont des sujets qui émergent du bas vers le haut et touchent rarement le management, car cela vient bousculer des impératifs économiques
D’ailleurs, l’inclusion ne se limite pas à l’égalité de genre : pour Marcy Charollois, avoir plus de femmes dans les équipes tech ne suffit pas. « Il ne faut pas limiter cela à l’idée d’avoir davantage de femmes si c’est pour n’avoir que des femmes blanches issues des mêmes milieux. On a besoin de diversité d’origines, de genre et d’individus issus de la communauté LGBTQIA+ si on veut que les équipes soient à l’image de la société. »
Des CTO souvent peu concernés
« Parfois, l’impératif économique prime sur l’égalité des utilisateurs face aux contenus », explique Nastasia Saby, ingénieure en machine learning dans un groupe média et membre du réseau de développeuses Duchess France. « Par exemple, les publicités sont genrées et les outils de recommandations de contenus et de publicité développés par les médias peuvent renforcer les stéréotypes de genre. » L’une des solutions est d’impliquer davantage les CTO dans les démarches de numérique responsable, reste à trouver la bonne méthodologie : « Dans mon expérience, j’ai rarement vu des CTOs parler d’inclusion numérique. Ce sont les personnes renseignées et concernées qui sont motrices à leur échelle. L’inclusion ne vient pas du top down, ce sont des sujets qui émergent du bas vers le haut et touchent rarement le management, car cela vient bousculer des impératifs économiques », explique-t-elle.
Pour Émilie Sirvent-Hien, responsable du programme IA responsable chez Orange, « il y a deux éléments à prendre en compte : on doit inclure des profils diversifiés dans les équipes et penser en amont aux profils des utilisateurs qui vont utiliser ces systèmes ». Cette étape est encore trop ignorée par les CTO qui voient cela comme une contrainte : « Les managers vont avoir tendance à déléguer ces sujets qu’ils jugent contraignants et vont développer des solutions qui, au final, seront moins efficaces, voire peuvent donner lieu à des scandales », poursuit-elle. Pourtant, le rôle des CTO a largement évolué avec le déploiement de projets IA. Ils ont de nouvelles responsabilités relatives au design et à l’intégration de ces projets, doivent garantir à la fois le respect de l’éthique IA dans la manière dont les projets sont développés, et l’intégrité des résultats fournis par ces services.
Nastasia Saby estime qu’il y a également un enjeu sous-jacent de motivation et d’attractivité des missions : « Les développeurs font un métier créatif puisqu’ils conçoivent des objets numériques. Ils sont parfois plus excités par l’ingénierie que par le résultat et vont avoir aussi tendance à travailler pour des entreprises qui proposent des sujets intéressants technologiquement, mais qui sont moins regardantes en matière d’éthique et d’inclusion. » En d’autres termes, ils prennent le risque de s’ennuyer dans des entreprises de grande taille qui ont des politiques d’inclusion plus regardantes.
Inclure le plus grand nombre d’individus dans la conception des services
L’une des solutions selon Émilie Sirvent-Hien serait de mélanger le design responsable avec des approches réflexives : « Il faut instaurer des espaces de débats avec des profils diversifiés, car les développeurs ne vont jamais échanger avec les personnes concernées par leurs produits. Si par exemple ce sont des femmes qui sont chargées de l’annotation dans le développement d’une IA, elles doivent pouvoir échanger avec les data scientists pour comprendre le fonctionnement et le cycle de développement du produit. » Il y a urgence : l’IA Act rend désormais juridiquement responsables les entreprises qui déploient des systèmes d’IA, même si ce ne sont pas elles qui les ont développées. « La seule obligation des sociétés qui développent ces modèles, c’est de documenter ce qu’ils font mais, au final, c’est nous qui déployons ces services qui sont utilisés par des clients ou usagers. »
La presse informatique fait état de nouvelles responsabilités quant à la gestion des risques IA, moins de stratégie visant à améliorer l’inclusion dans les équipes et l’inclusion numérique des produits. Pour Marcy Charollois, le problème est plus vaste : « Sur X, le respect du Digital Services Act (DSA) est quasiment inexistant alors que c’est le média social préféré des CTOs et développeurs qui culturellement, méprisent les autres plateformes comme LinkedIn. Il est donc très facile pour ces raisons de voir les entreprises tech tomber dans une logique de préservation du statu quo, puisque les personnes majoritaires sont constamment confrontées à des contenus qui ne diffèrent pas de leur tunnel de confirmation. On se retrouve avec des équipes de développement complètement clonées, qui ont les mêmes codes vestimentaires et qui perpétuent une logique d’assimilation avec les nouvelles ou nouveaux entrants. »
