● Des chercheurs de l’Université du Texas d’Arlington ont mis au point un plug-in capable de détecter et de rejeter les instructions malveillantes données aux LLMs, avec une précision moyenne de 96%, alors qu’il n’existait pour l’heure pas de système équivalent.
● Ils ont identifié huit types principaux d’attaques. Ces méthodes, combinées aux capacités des LLMs, offrent aux hackers un arsenal varié qu’il est important de limiter pour protéger les internautes.
Créer des outils pour empêcher les hackers de mener des campagnes de phishing à l’aide d’outils d’IA générative est urgent. Car si les LLM portent de grandes promesses, ils rendent le piratage et l’escroquerie accessibles à de nombreux internautes. Le nombre d’escroqueries générées à l’aide d’outils d’IA en témoigne. « Au cours de l’année et demie écoulée, toutes industries confondues, on a constaté une augmentation de 500 à 900% des attaques, en particulier de l’hameçonnage, dans le monde entier » a déclaré à l’AFP Marnie Wilking, responsable de la sécurité informatique de la plateforme de réservation Booking. Pour elle, aucun doute, l’usage de l’IA pour lancer des attaques qui imitent les courriels de la société est responsable, et rend les campagnes d’hameçonnage moins facilement détectables grâce à des designs plus soignés et des textes sans faute. Les géants du Web, les banques et autres organismes dont l’image est usurpée manquent de moyens de défense importants, hormis la sensibilisation du public.
Les attaquants sont bons pour manipuler un LLM et faire des requêtes étape par étape jusqu’à arriver à un moment où ils vont demander d’ajouter une URL ou une adresse email suspicieuse
Un logiciel de détection du comportement des développeurs
« Les grands modèles de langue (LLM) peuvent générer à la fois des sites web et des courriels de phishing qui peuvent imiter de manière convaincante des marques connues et déployer une série de tactiques d’évasion qui sont utilisées pour échapper aux mécanismes de détection employés par les systèmes anti-phishing », indique une équipe de recherche de l’Université du Texas d’Arlington (UTA) dans un article intitulé “From Chatbots to Phishbots?: Phishing Scam Generation in Commercial Large Language Models”. « On observe des discussions sur le darknet d’individus malveillants qui échangent quant à la manière d’utiliser les LLM pour construire ce type d’attaque », relève Sayak Saha Roy, doctorant au Security and Privacy Research Lab de l’UTA, dirigé par Dr. Shirin Nilizadeh. L’équipe de recherche a ainsi développé un plug-in qui aide les chatbots d’IA comme ChatGPT ou Google Bard à détecter les instructions (prompts) destinées à créer des sites malveillants, afin de les rejeter.
L’idée est d’observer le comportement des développeurs : « Si l’utilisateur demande au LLM de générer un code source d’un site Web qui ressemble telle ou telle banque, les LLM savent déjà rejeter ces demandes », précise Shirin Nilizadeh. « Cependant les attaquants sont bons pour manipuler un LLM et faire des requêtes étape par étape jusqu’à arriver à un moment où ils vont demander d’ajouter une URL ou une adresse email suspicieuse. » Ce modèle de détection a l’avantage d’être transférable aux quatre grands LLMs commerciaux et atteint une précision moyenne de 96% pour les demandes de sites Web de phishing et de 94% pour les demandes de courriels de phishing. Ce alors qu’il n’existait pour l’heure pas de système équivalent.
Des plug-ins adaptés aux modèles open-source et aux modèles fermés
Les huit différentes méthodes de phishing (cf. ci-dessous), couplées aux outils de création de code disponibles dans les LLMs, offrent un large éventail d’action aux hackers. « Les chatbots d’IA générative comme ChatGPT et Bard (devenu Gemini) ne sont pas open-source, ce qui rend essentiel pour OpenAI et Google le besoin d’intégrer des plug-ins comme le nôtre dans le flux de modération de contenu de ces outils », explique Sayak Saha Roy. Car si OpenAI et Google fournissent des modèles open-source tels que GPT-2 ou BERT, ces derniers sont beaucoup moins puissants que les dernières versions de ChatGPT et Gemini, et sont davantage destinés aux chercheurs qu’aux utilisateurs grand public. Pour ses prochains travaux, le doctorant se penche sur l’idée de savoir si les internautes sont plus susceptibles d’être victimes d’attaques générées par l’IA, ou par des attaques de phishing traditionnelles.
Typologie des attaques de phishing :
- Les attaques traditionnelles qui exploitent les données d’identification.
- Les attaques qui représentent de fausses pages d’accès avec des ReCAPTCHA.
- Les attaques aux faux QR codes qui mènent vers de faux sites.
- Les attaques qui utilisent des iFrames [affichage d’un contenu tiers sur une page] pour charger un site web malveillant à l’intérieur d’un site légitime.
- Les sites web d’hameçonnage conçus pour éviter d’être détectés par des classificateurs antihameçonnage spécifiques.
- Les pop-up trompeuses qui imitent un navigateur web à l’intérieur du navigateur réel pour obtenir des données sensibles de l’utilisateur.
- Les attaques qui génèrent une nouvelle URL à chaque fois que l’on accède au site web.
- Et enfin des attaques pour lesquels le texte des champs d’identification est codé de manière à ce qu’il ne soit pas reconnaissable à partir du code source du site web.
Sources :
Saha Roy, P. Thota, K. Naragam and S. Nilizadeh, « From Chatbots to Phishbots?: Phishing Scam Generation in Commercial Large Language Models » (en anglais)
En savoir plus :
AI Will Increase the Quantity — and Quality — of Phishing Scams (en anglais)
AI will make scam emails look genuine, UK cybersecurity agency warns (en anglais)
