Une forme plus subtile d’erreur de modèle
La plupart des gens savent déjà que l’IA générative peut avoir des « hallucinations ». Le modèle peut inventer une date, une source ou un événement et le présenter comme un fait. De telles erreurs sont graves, mais souvent détectables : on peut comparer la réponse avec d’autres sources.
Un cas plus délicat se présente lorsque l’IA émet des affirmations non seulement sur le monde, mais aussi sur vous. Au cours d’une conversation, un agent basé sur un LLM peut conclure que vous êtes frustré, confus, très impliqué, fatigué ou en train de perdre votre concentration. Il pourrait même déduire votre état psychologique ou psychophysique du moment.
Comment vérifier une telle évaluation ? Il n’existe aucune base de données externe à consulter. L’évaluation porte sur un état fugace, que même la personne concernée a parfois du mal à nommer avec précision. Pourtant, le système peut fonder ses décisions sur cet état — comment s’adresser à vous ou quelle action entreprendre. Un agent IA au service d’un client peut disposer de fonctions conçues pour répondre à l’insatisfaction ou à l’incertitude.
Dans le cas de l’évaluation du comportement humain, il ne s’agit pas d’hallucinations classiques liées à de fausses informations, bien que le résultat final soit similaire. Le modèle génère une description de la personne avec assurance, mais sans fondement suffisamment solide. Comme cette description peut paraître psychologiquement convaincante et ne peut pas être facilement recoupée avec d’autres sources, cette erreur est plus difficile à détecter.
Si le signal de référence est instable, une même personne pourrait être traitée différemment pour des raisons sans rapport avec son comportement réel. Comme ces inférences sont généralement invisibles, les utilisateurs n’ont peut-être aucun moyen de les contester.
Ce qu’ont testé les chercheurs d’Orange
Les chercheurs d’Orange ont mesuré dans quelle mesure les agents basés sur des LLM effectuent ces évaluations des personnes de manière cohérente. Au lieu de se demander si une évaluation particulière semble simplement crédible, ils ont répété les mêmes analyses dans des conditions identiques en utilisant les mêmes enregistrements. Ils ont vérifié si un agent qui semble en savoir beaucoup sur son interlocuteur dresse de manière fiable le même portrait de la personne lorsque le même matériel est analysé à nouveau.
Et quelles en sont les conséquences ? Imaginez un système d’assistance client qui considère que l’interlocuteur est très frustré, puis raccourcit ses réponses, limite les informations fournies et passe en mode de désescalade. Lorsque le même enregistrement est analysé à nouveau, le système décrit le client comme étant seulement légèrement irrité, voire neutre. Rien n’a changé chez la personne. Seule l’interprétation faite par le modèle a changé. Comment savoir quelle réponse était justifiée ?
Deux cibles mouvantes : l’humain et le modèle
Le comportement humain évolue naturellement. Une même personne peut s’exprimer différemment lorsqu’elle est fatiguée, pressée ou anxieuse. Les mesures psychologiques traditionnelles ont longtemps fait face à cette difficulté en vérifiant la fiabilité et la validité des questionnaires ou des échelles.
L’IA générative ajoute une deuxième source de variabilité : le modèle lui-même. Un même matériel d’entrée peut conduire à des évaluations différentes en raison de la génération probabiliste, de la formulation de la consigne, du contexte, de la configuration ou de modifications ultérieures du modèle. La variabilité humaine fait partie intégrante du phénomène étudié. La variabilité incontrôlée du modèle devient quant à elle un problème de mesure.
Lorsque l’état déduit de l’utilisateur est réinjecté dans un système adaptatif, le risque s’accroît. L’évaluation influence le comportement du système ; ce comportement affecte l’utilisateur ; la réaction de l’utilisateur devient alors une nouvelle source d’évaluation. En cas d’erreur, le système s’adapte non pas à la personne, mais à l’artefact issu de sa propre mesure antérieure.
Un fait erroné peut être recoupé avec une autre source ; un jugement erroné sur vos émotions peut discrètement déterminer la manière dont l’IA vous traite.
Une bonne performance n’est pas synonyme de mesure fiable
Les systèmes d’IA sont souvent évalués en vérifiant s’ils sont capables de classer correctement des exemples ou d’améliorer des résultats tels que la satisfaction, le taux de conversion ou l’efficacité des tâches. Ces tests sont importants, mais ne répondent pas à la question suivante : si le système réanalyse la même personne dans les mêmes conditions, parviendra-t-il à la même conclusion ?
Un outil peut afficher de bonnes performances en moyenne tout en étant très instable dans des cas particuliers. À l’inverse, le résultat peut être parfaitement reproductible tout en restant erroné — à l’image d’un thermomètre défectueux qui affiche toujours la même température incorrecte. La fiabilité et la validité sont liées, mais ne sont pas identiques.
Ce qu’ont révélé des tests répétés
Une expérience décrite par Krzemińska, Butkiewicz et Komkowska a consisté à traiter de grands modèles linguistiques comme des instruments de mesure [3].
Quinze enregistrements provenant d’un centre d’appels ont été divisés en 552 segments et analysés à plusieurs reprises dans des conditions identiques à l’aide de trois modèles multimodaux. L’étude a porté sur 213 indicateurs d’état de l’utilisateur utilisés ou proposés pour les systèmes adaptatifs, couvrant la cohérence émotionnelle, l’engagement, l’adéquation cognitive, l’efficacité de l’interaction et la sécurité.
L’objectif n’était pas de classer les modèles, mais d’évaluer si les signaux étaient suffisamment stables pour étayer les décisions des agents concernant une personne spécifique.
Seuls 31 des 213 indicateurs (14,6 %) ont atteint le seuil rigoureux d’« excellence », à savoir une stabilité d’au moins 90 % pour une seule inférence sur l’ensemble des trois modèles. Après agrégation des résultats au niveau de la conversation, 89 indicateurs sont devenus suffisamment stables pour une utilisation analytique. Cependant, seuls 19 de ces 89 indicateurs ont fourni des évaluations quasi identiques pour chaque paire de modèles.
Conclusion pratique
L’affirmation selon laquelle « l’IA peut reconnaître les états des utilisateurs » est trop optimiste. Certains indicateurs peuvent être fiables au sein d’un modèle et d’un contexte spécifiques. D’autres ne peuvent s’avérer utiles qu’après agrégation, par exemple pour une analyse NPS. D’autres encore ne devraient absolument pas être utilisés comme sources d’informations sur les utilisateurs. De plus, les indicateurs ne sont pas universels. La stabilité ne se transfère pas automatiquement d’un modèle à un autre. Un même indicateur peut être stable dans un modèle et un contexte donnés, mais instable dans un autre.
La cyberpsychométrie en tant que couche de contrôle qualité pour les évaluations des humains par l’IA
La est un domaine de recherche proposé visant à tester la qualité des descriptions d’utilisateurs générées par l’IA. Elle s’inspire de la psychométrie, la science de la mesure psychologique, mais applique ses principes à des modèles probabilistes susceptibles d’évoluer au fil du temps.
Elle est liée aux travaux existants dans les domaines du profilage algorithmique, de l’inférence comportementale, de la recherche computationnelle sur les émotions et de la sociologie de la quantification — qui étudient tous la manière dont les personnes sont classées, notées ou font l’objet d’actions sur la base de données [6][7]. La cyberpsychométrie ajoute une question de mesure plus précise : lorsqu’un système d’IA génère un indicateur d’état d’un utilisateur, cet indicateur est-il suffisamment stable, reproductible et pertinent pour l’usage qui en est fait ?
Ses questions sont simples : le modèle produit-il la même évaluation dans les mêmes conditions ? Les différents modèles concordent-ils ? L’évaluation correspond-elle à ce que rapporte l’utilisateur ou à ce que constatent des observateurs formés ? Un indicateur donné est-il suffisamment fiable pour des décisions en temps réel ou seulement pour des synthèses statistiques ?
Contrairement à un questionnaire papier validé une seule fois avant utilisation, la mesure basée sur l’IA peut nécessiter une surveillance continue, car l’outil est un modèle susceptible d’évoluer au fil du temps. La mise à jour du modèle, de nouvelles invites, des langues différentes ou des changements dans l’environnement de données peuvent modifier son comportement sans modifier l’application elle-même.
L’explicabilité est nécessaire mais non suffisante
Une IA explicable peut indiquer pourquoi une décision a été prise — par exemple : « J’ai raccourci la réponse car j’ai détecté de la frustration ». Une telle explication décrit le mécanisme mais ne prouve pas que la frustration a été mesurée de manière fiable.
Une explication fondée sur un signal instable peut être logiquement cohérente sans pour autant justifier la décision. La cyberpsychométrie souligne qu’avant d’expliquer, il faut d’abord vérifier la qualité du signal : dans quelle mesure le système mesure-t-il de manière cohérente la personne qu’il prétend comprendre avant d’expliquer toute décision de l’IA ?
Pourquoi cela importe-t-il pour les utilisateurs lambda ?
L’interprétation privée effectuée par un système d’IA peut influencer la manière dont une personne est traitée. Un client jugé en colère pourrait être orienté différemment. Un étudiant considéré comme désorienté pourrait recevoir des supports pédagogiques plus simples. Un utilisateur peu engagé pourrait être soumis à des techniques de persuasion plus fortes. Une personne classée comme présentant un risque élevé pourrait faire l’objet de contrôles supplémentaires ou se voir proposer moins d’options.
Les utilisateurs peuvent savoir, ou être informés, qu’ils interagissent avec un système d’IA. Dans certains cas, une telle transparence est exigée par la réglementation [5]. Cela ne signifie toutefois pas qu’ils savent quand une inférence spécifique les concernant a été formulée, quel état leur a été attribué, quel seuil a été franchi, ni quelles conséquences opérationnelles en découlent. La divulgation complète en temps réel de chaque jugement intermédiaire pourrait également perturber le déroulement naturel de la conversation.
La transparence en tant que principe nécessite donc un complément opérationnel : le contrôle de qualité des signaux cachés utilisés par le système.
Si le signal de référence est fiable, de tels ajustements peuvent s’avérer utiles.
Si le signal de référence est instable, une même personne pourrait être traitée différemment pour des raisons sans rapport avec son comportement réel. Comme ces inférences ne sont généralement pas visibles au niveau de chaque tour de parole, les utilisateurs peuvent ne disposer d’aucun moyen pratique de les contester.
Des démonstrations astucieuses aux systèmes adaptatifs responsables
Dans un premier temps, un système responsable devrait distinguer au moins trois catégories de métriques : celles qui sont suffisamment crédibles pour un fonctionnement en temps réel ; celles qui ne sont utiles qu’après agrégation à des fins d’analyse ; et celles qui ne sont d’aucune utilité. Cette classification devrait reposer sur des données empiriques, et non sur des hypothèses issues de descriptions de modèles ou sur le succès apparent d’un projet pilote. Un projet pilote peut montrer qu’un système adaptatif peut fonctionner dans un scénario spécifique. Il ne montre pas si les signaux utilisés pour l’adaptation sont suffisamment fiables pour être utilisés à plus grande échelle.
L’étape suivante implique une couche de contrôle capable de se réactiver, de surveiller la stabilité au fil du temps, de détecter les dérives et d’alerter lorsqu’un indicateur doit être limité ou retiré. Les organisations déployant l’IA doivent fixer des seuils et décider quelles actions sont autorisées à chaque niveau de fiabilité.
L’objectif n’est pas d’empêcher l’IA de s’adapter aux humains, mais de garantir que cette adaptation repose sur un signal fiable, et non sur des fluctuations ou des inventions. Avant de nous demander dans quelle mesure l’IA personnalise les interactions, nous devrions d’abord nous demander dans quelle mesure elle évalue de manière cohérente la personne qu’elle prétend comprendre.
Pourquoi Orange Research travaille-t-il sur ce sujet ?
Orange Research travaille sur une IA responsable, dont la réflexion commence dès la phase de conception, avant le déploiement d’un système et avant que ses effets ne deviennent visibles. La première question à se poser pour tout service basé sur l’IA n’est pas seulement de savoir si la technologie fonctionne, mais aussi qui peut être affecté par celle-ci. Qui est représenté, classé, orienté, persuadé, relégué au second plan ou se voit proposer moins d’options ? Qui risque d’en subir les conséquences si l’interprétation du système est erronée ?
Cette question est particulièrement importante pour les agents conversationnels et les systèmes adaptatifs, car ils ne se contentent pas de répondre aux utilisateurs. Ils peuvent également se forger une image de ces derniers : leur frustration, leur engagement, leur attention, leur degré d’urgence, leur confiance ou leurs besoins. Si cette image est utilisée pour modifier le cours d’une interaction, alors sa qualité relève de la responsabilité de l’organisation. Un concepteur de système doit donc se demander : quels états des utilisateurs sont déduits, quelles décisions en dépendent, dans quelle mesure ces signaux sont-ils fiables, et quels préjudices pourraient en découler s’ils s’avéraient instables ?
La cyberpsychométrie contribue à rendre cette responsabilité opérationnelle. Elle permet de distinguer les signaux suffisamment fiables pour guider une adaptation en temps réel de ceux qui devraient se limiter à une analyse agrégée – voire ne pas être utilisés du tout. L’objectif n’est pas de décourager l’IA adaptative, mais de garantir que l’adaptation repose sur des signaux validés plutôt que sur des hypothèses non vérifiées concernant l’utilisateur.
Pour Orange Research, ces travaux s’inscrivent également dans une approche plus large de l’IA responsable : investir dans la recherche sur les effets de la technologie, identifier précocement les risques potentiels et développer des outils qui contribuent à rendre la responsabilité opérationnelle plutôt que déclarative. Cette orientation est cohérente avec le rôle d’Orange en tant qu’ambassadeur de l’IA responsable et avec la reconnaissance obtenue grâce au double prix « SRAI Gamechanger » décerné par la GPAI.
Prochain défi : lorsque des agents IA représentent des personnes auprès d’autres agents IA
Le problème deviendra encore plus complexe lorsque les agents IA commenceront à interagir avec d’autres agents IA agissant pour le compte d’utilisateurs. Un assistant IA personnel pourra négocier, se plaindre, demander de l’aide ou prendre des décisions au nom d’une personne. Dans un tel scénario, l’agent de l’entreprise n’interprétera peut-être plus directement l’utilisateur humain. Il interprétera peut-être un autre système d’IA qui représente cet utilisateur.
Cela a son importance car la décision concerne toujours un être humain, même si celui-ci n’est plus le participant direct à l’interaction. La chaîne d’inférence s’allonge. Premièrement, l’agent personnel se forge une image de la personne qu’il représente : ses préférences, ses objectifs, son sens de l’urgence, sa tolérance au risque ou son état émotionnel. Deuxièmement, il traduit cette image en une manière particulière d’agir, de s’exprimer, d’établir des priorités ou de négocier. Troisièmement, l’agent de l’entreprise interprète ce comportement et déduit les intentions, les besoins ou la disposition de l’utilisateur à accepter une offre à partir du comportement de l’agent représentant.
Chaque étape peut être source d’erreur.
Le premier agent peut se forger une image instable ou incomplète de l’utilisateur. Il peut alors exprimer cette image d’une manière qui déforme les préférences ou l’état réels de l’utilisateur. Le deuxième agent peut alors mal interpréter cette expression, en particulier si son propre modèle, ses métriques ou ses catégories ne sont pas compatibles avec ceux utilisés par le premier agent. En d’autres termes, les erreurs peuvent ne plus provenir d’une seule inférence concernant une personne, mais d’une séquence de représentations et de réinterprétations générées par l’IA.
Cette question revêt une importance particulière car les recherches sur les montrent que la cohérence entre modèles peut être plus faible que la stabilité au sein d’un même modèle. Un indicateur peut être relativement stable au sein d’un modèle sans pour autant produire la même interprétation dans un autre. Dans l’interaction entre agents, ce manque de compatibilité entre modèles devient un risque concret : un système construit une représentation de l’utilisateur, un autre système l’interprète différemment, et les conséquences sont répercutées sur l’humain.
Cela ne supprime pas la nécessité de la cyberpsychométrie. Au contraire, cela l’étend. Les futurs systèmes adaptatifs auront besoin de méthodes permettant de valider non seulement les jugements de l’IA concernant les personnes, mais aussi les transformations par lesquelles ces personnes sont représentées par un système d’IA et interprétées par un autre. La question clé ne sera plus seulement de savoir si un système d’IA peut déduire de manière fiable l’état d’un utilisateur. Il s’agira également de déterminer si cet état déduit reste stable, significatif et justifiable lorsqu’il transite par un autre système agentique.
Ce texte a été traduit avec une intelligence artificielle.
Indicateurs opérationnels : suffisamment fiables pour influencer une interaction en temps réel ou une décision automatisée.
Indicateurs analytiques : utiles uniquement après agrégation, par exemple dans le cadre d’une analyse a posteriori ou d’une modélisation statistique.
Indicateurs de réserve : insuffisamment stables pour une utilisation opérationnelle ou analytique et donc mis en attente jusqu’à ce que les conditions s’améliorent.
Sources :
[1] Shrout, P. E., & Fleiss, J. L. (1979). Corrélations intraclasses : utilisations dans l’évaluation de la fiabilité des évaluateurs. Psychological Bulletin, 86(2), 420–428.
[2] Koo, T. K., & Li, M. Y. (2016). Guide de sélection et de communication des coefficients de corrélation intraclasse pour la recherche sur la fiabilité. Journal of Chiropractic Medicine, 15(2), 155–163. https://doi.org/10.1016/j.jcm.2016.02.012
[3] Krzeminska, I., Butkiewicz, M., & Komkowska, E. (2026). Peut-on se fier aux états des utilisateurs déduits par l’IA ? Un cadre psychométrique pour valider la fiabilité de la classification des états des utilisateurs par les modèles de langage (LLM) dans des environnements opérationnels. arXiv:2605.15734. https://arxiv.org/abs/2605.15734
[4] Rai, A. (2020). Une IA explicable : de la « boîte noire » à la « boîte de verre ». Journal of the Academy of Marketing Science. https://doi.org/10.1007/s11747-020-00754-8
[5] Commission européenne. Lignes directrices relatives aux obligations de transparence des fournisseurs et des déployeurs de systèmes d’IA au titre de l’article 50 de la loi sur l’IA.
[6] Espeland, W. N., & Stevens, M. L. (2008). Une sociologie de la quantification. European Journal of Sociology, 49(3), 401–436.
[7] Poria, S., Cambria, E., Bajpai, R., & Hussain, A. (2017). Une revue de l’informatique affective : de l’analyse unimodale à la fusion multimodale. Information Fusion, 37, 98–125.
