• Les détecteurs de deepfakes demeurent vulnérables : une équipe de chercheurs souligne l’importance des modèles multimodaux et de l’apprentissage continu pour améliorer la détection.
• Bien que des progrès aient été réalisés, d’autres restent nécessaires pour que ces détecteurs souvent testés en laboratoire puissent garantir une détection fiable dans des conditions réelles.
« Les deepfakes ont rapidement émergé comme une menace sérieuse pour la société en raison de leur facilité de création et de dissémination », rapporte une équipe de chercheurs du CSIRO, l’agence scientifique nationale australienne, et de l’université sud-coréenne Sungkyunkwan (SKKU). Ils ont réalisé une étude comparative des outils de détection de deepfakes, dans un article intitulé « SoK: Systematization and Benchmarking of Deepfake Detectors in a Unified Framework ». Pour cela, ils ont mis au point un cadre en cinq étapes qui évalue les outils de détection en fonction du type de deepfake, de la méthode de détection, de la préparation des données, de l’entraînement du modèle et de la validation. Ce cadre identifie 18 facteurs affectant la précision, allant de la façon dont les données sont traitées à la façon dont les modèles sont formés et testés. L’étude démontre d’importantes vulnérabilités des détecteurs de deepfakes lorsqu’ils sont utilisés en condition réelle.
Les modèles multimodaux intégrant des indices audio, visuels et métadonnées pourraient améliorer la précision et la robustesse de la détection.
L’apprentissage continu multimodal plus prometteur
Les chercheurs expliquent notamment que les bases de données utilisées pour l’entraînement des détecteurs peuvent laisser ces derniers « vulnérables à une dégradation des performances face à des variantes de deepfakes inconnues ». En d’autres termes, il risque de devenir de plus en plus complexe de déterminer si un contenu est réel ou non. Toutefois, précise l’article, « les modèles multimodaux intégrant des indices audio, visuels et métadonnées pourraient améliorer la précision et la robustesse de la détection ». Pour l’heure, certains détecteurs de deepfakes parviennent à détecter de faux contenus spécifiques, mais échouent face à d’autres contenus. Sans surprise, la qualité des vidéos (lumière, bruit, résolution) peut compliquer la détection. En général, ces détecteurs sont testés en laboratoire et non en conditions réelles, c’est-à-dire sur des deepfakes « nouveaux » circulant sur Internet. Ainsi, « les techniques d’apprentissage continu pourraient permettre aux détecteurs de rester efficaces face aux menaces dynamiques posées par les deepfakes ». L’équipe de recherche indique à ce titre développer des modèles de détection qui intègrent l’audio, le texte, les images et les métadonnées pour obtenir des résultats plus fiables.
« Pour l’heure, les innovations qui émergent de la recherche montrent que la détection de contenu artificiel ne peut se faire que via une somme de technologies différentes qui permet d’identifier du faux contenu sous plusieurs angles plutôt que grâce à un outil unique », note Vivien Mura, Global CTO chez Orange Cyberdefense. Pour le spécialiste, ces outils sont plutôt dans une logique de scoring : « Ils donnent à un contenu une note qui tend vers le vrai ou le faux et c’est ensuite à l’humain de vérifier, ce qui risque de rester indispensable à l’avenir car de nombreux contenus artificiels peuvent être légitimes. » Les technologies développées spécifiquement pour analyser le contenu peuvent compléter des techniques classiques d’authentification d’un compte utilisateur ou de vérification des métadonnées adossées à un fichier, qu’il s’agisse des codecs, timestamps, etc. « Ces données peuvent aider à évaluer la fiabilité d’un contenu. »
Des alternatives dans l’identification des deepfakes
« Pour le moment, souligne Vivien Mura, il est encore possible de détecter des faux contenus avec l’identification des , des , des problèmes de ligne temporelle, de lumière, ou encore de décalage entre son et lumière par ce que les modèles ne sont pas encore parfaits, particulièrement sur du temps réel. »
Si la législation en vigueur est stricte en matière d’usurpation d’identité, « elle reste fragile quant à la possibilité d’imposer des techniques de , qui permettent d’identifier et donc de détecter les contenus générés par l’IA grâce à des marqueurs invisibles ». Pour l’heure, les systèmes de détection sont basés sur du machine learning. « Ce sont des modèles génératifs adversariaux (GAN) qui fonctionnent, mais on manque cruellement de données en matière de détection vidéo, ce qui explique qu’il est plus facile de repérer les deepfakes de célébrités plutôt que celles du commun des mortels. » Selon l’expert, il sera de plus en plus difficile d’entraîner des modèles au fur et à mesure que le volume de contenu en ligne généré artificiellement augmentera, car le niveau général de fiabilité des contenus en ligne diminuera.
Sources :
SoK: Systematization and Benchmarking of Deepfake Detectors in a Unified Framework (en anglais)
En savoir plus :
Research reveals ‘major vulnerabilities’ in deepfake detectors (en anglais)
