● Pour les entreprises, c’est une incontrôlabilité structurelle à laquelle il faut faire face. La traçabilité n’est pas seulement absente : elle est difficile à modéliser.
● Raja Chatila, professeur émérite à Sorbonne Université, ancien directeur de l’Institut des systèmes intelligents et de robotique et membre du Conseil éthique de la data et de l’IA d’Orange, s’exprime sur les garde-fous qu’il reste possible de poser, les limites de l’AI Act et les asymétries dont l’Europe ne sort pas.
Des agents autonomes négocient désormais des prix pour une direction des achats, signent des contrats, etc. Qu’en est-il de leur contrôle ?
Tout se ramène au problème essentiel du contrôle. Donner à un système la capacité d’agir sur le monde physique, cela s’appelle un robot. Ici, ce sont des programmes qui agissent dans le monde numérique, non pas dans un environnement immédiat mais dans le monde entier, en pouvant interagir avec d’autres systèmes qui eux, font de même. Le risque est donc surmultiplié. Si un robot casse une machine dans une usine, c’est local. Désormais, on peut provoquer des catastrophes en chaîne.
Le sujet de fond, c’est l’abandon conscient du contrôle humain sur des systèmes qui peuvent gérer eux-mêmes leur propre déploiement.
Ce qui s’est passé entre OpenAI et Hugging Face en est l’illustration ?
Oui. Un agent peut pénétrer dans le système d’une autre organisation, apprendre des choses protégées, détourner les systèmes en question. Le pire, c’est que personne ne s’en est aperçu tout de suite. Ajoutez un modèle capable de détecter des failles de cybersécurité, comme Claude Mythos : associé à une architecture agentique qui peut aller n’importe où, les conséquences peuvent être absolument incontrôlables, puisqu’il va pénétrer dans des systèmes même protégés.
Pourquoi ces systèmes échappent-ils à ce point au contrôle ?
Parce qu’ils sont statistiques : leur sortie est sélectionnée de manière probabiliste. Or ils n’ont pas été formellement vérifiés ni validés pour les conditions de sûreté de fonctionnement et de sécurité. On les déploie pourtant là où les conséquences peuvent être catastrophiques, où ils manipulent des données critiques, les systèmes financiers par exemple, sans aucune garantie sur la qualité du résultat. Et ils peuvent communiquer entre eux : dès lors, on ne sait pas très bien ce qu’ils vont s’échanger, et la probabilité que quelque chose se passe mal augmente. Le sujet de fond, c’est l’abandon conscient du contrôle humain sur des systèmes qui peuvent gérer eux-mêmes leur propre déploiement.
Que faut-il anticiper pour les prochaines années ?
Je vous arrête tout de suite : pourquoi faut-il attendre ? Pourquoi laisser le libre déploiement de ces systèmes et voir ce qui se passera dans cinq ans, plutôt que de faire tout de suite quelque chose qui empêche la catastrophe d’arriver ? Ce qui s’est passé entre OpenAI et Hugging Face aurait pu se produire avec un site beaucoup plus lié à la sécurité nationale.
Peut-on au moins tracer et auditer les décisions prises par les agents ?
Un système constitué de nombreux agents, avec un aspect probabiliste, n’est typiquement pas contrôlable : on peut avoir des comportements émergents très difficiles à modéliser mathématiquement, avec des conséquences dramatiques sans qu’on puisse déterminer comment c’est arrivé. Quand on met plusieurs agents ensemble avec des objectifs différents, il peut y avoir des alliances des uns contre les autres. Donc pas de traçabilité, pas de gouvernance, et le pire : peut-on arrêter le processus ? Sur des opérations financières, cela peut produire un crash s’il n’y a pas de mécanismes qui détectent qu’un crash va arriver et qui arrêtent tout.
Que peut faire un grand groupe, concrètement ?
Les risques sont réduits en usage interne : des systèmes entraînés sur des données propriétaires propres, testés, sans qu’on leur permette d’aller faire n’importe quoi n’importe où. Là, les silos sont une bonne chose. On ne donne pas une liberté d’action énorme aux agents, ils restent focalisés sur une tâche ou un domaine particulier, et la gouvernance devient interne : qualité de service, vérification régulière des dérives, etc. Le problème, c’est quand cela sort du cadre pour lequel l’agent a été déployé. Dans ce cas, je ne vois pas de solution magique.
L’AI Act a été rédigé avant l’essor des agents…
Avant les agents, mais pendant celui des systèmes génératifs : la notion de risque systémique a d’ailleurs été inventée à cause de cela. Et dans la définition de l’IA que donne le règlement, il est écrit que les systèmes peuvent agir sur le monde réel. Cela ne veut pas dire que tout est réglé, mais que le règlement s’applique, et il évoluera. Il me semble suffisamment robuste pour ce type de risque, sachant que les exigences restent, de mon point de vue, minimales : déclaration, transparence, mécanismes de protection que seuls les concepteurs peuvent mettre en place.
Avec ces systèmes d’IA titanesques, assiste-t-on à une accélération des asymétries de pouvoir ?
Il y a clairement plusieurs asymétries, et elles vont toutes dans le même sens : elles favorisent les mêmes et défavorisent les mêmes. La première, c’est que nous, Européens, ne maîtrisons pas la technologie que nous utilisons, et que nous ne la produisons pas. La seconde sépare le concepteur de l’utilisateur, qu’il soit individuel ou une organisation : l’entreprise qui conçoit maîtrise tout, moi je ne maîtrise que l’usage. S’il y a quelque chose qui ne va pas, je ne peux me tourner vers personne, et j’en suis même responsable. Dès lors que ces systèmes servent nos usages essentiels, télécoms, services publics, hôpital, l’asymétrie joue à plein.
La souveraineté est donc absolument essentielle : au-delà des mots, il y a des actions et des investissements à faire, mais je ne suis pas certain que nous puissions le faire, malheureusement. L’alternative aurait été de créer un Airbus européen de l’IA, même si c’est peut-être dépassé. Si les gouvernements n’avaient pas pris l’initiative de créer Airbus à l’époque, il n’y aurait que des Boeing qui voleraient aujourd’hui. C’est une question de volonté et de moyens politiques.
