NORIA : détection d’anomalies réseaux à l’aide des graphes de connaissances

• Data
• IA
• Machine learning
• Open innovation
• Réseaux

Partager sur Twitter : NORIA : détection d’anomalies réseaux à l’aide des graphes de connaissances (Nouvelle fenêtre) Partager sur Linkedin : NORIA : détection d’anomalies réseaux à l’aide des graphes de connaissances (Nouvelle fenêtre)

Ce billet donne un aperçu d’un futur possible pour les outils de supervision des infrastructures réseaux (NMS et SIEM). Boosté par les technologies de l’intelligence artificielle comme le Web sémantique et les outils neuro-symboliques, NORIA (machine learNing, Ontology and Reasoning for the Identification of Anomalies) permet de réaliser de la corrélation d’incidents multi-domaines techniques (p.ex. réseaux support optique vs réseaux IP vs services Web) tout en réduisant la charge cognitive des exploitants.

Développé depuis plus de trois ans par la recherche d’Orange dans les domaines de la cybersécurité, des réseaux et de l’IA, ces travaux de recherche ont été valorisés au travers de nombreux publications scientifiques témoignant d’une expertise reconnue à l’internationale. NORIA est désormais en phase de transfert de technologies et de développement d’un produit pouvant répondre aux besoins opérationnels des exploitants des infrastructures réseaux en interne Orange. Nos chercheurs ont également réalisé plusieurs contributions open-source dont :

• L’ontologie NORIA-O https://github.com/Orange-OpenSource/noria-ontology
• Un composant d’alimentation de graphes de connaissances à partir de stream de données nommé SMASSIF-RML https://github.com/Orange-OpenSource/SMASSIF-RML
• Un gestionnaire de bus sémantique nommé ssb-consum-up https://github.com/Orange-OpenSource/ssb-consum-up

IA symbolique : le maestro de la supervision réseau

L’exploitation d’infrastructures réseau de grande échelle (téléphonie fixe et mobile, fourniture d’accès Internet, échanges de données nationaux et internationaux) implique généralement de gérer des situations et des anomalies complexes, telles que des pannes en cascade, des attaques de cybersécurité ou autres, qui ont en commun l’impact simultané sur plusieurs plateformes, services et couches de réseau. Détecter et diagnostiquer des anomalies dans ce type de contexte peut être difficile, laborieux, et induire un temps de rétablissement long et l’implication d’un nombre important de collaborateurs. Pour gérer ces situations de manière efficiente tout en atteignant des objectifs de qualité de service et de sécurité, les équipes de supervision ont besoin d’une vision globale sur les infrastructures et les interactions entre les différentes ressources et services qui les composent. L’obtention de cette vue d’ensemble sur l’infrastructure est complexe et nécessite de répondre à trois défis :

• Comment bâtir une vue d’ensemble sur un parc de ressources et de services hétérogènes générant des données (alarmes, logs techniques, etc.) dans des formats riches et variés ? Pour être efficace face à cette hétérogénéité (multiples couches, services et fabricants/matériels réseau), les équipes en charge de la supervision des réseaux devraient disposer de connaissances sur de nombreux domaines techniques, y compris pour des réseaux sur lesquels elles n’ont pas forcément la main et qui peuvent être à l’origine des (ou subir les) conséquences de pannes en cascade.
• Comment comprendre une situation cachée dans des volumes colossaux d’évènements ? Il est en effet difficile d’identifier et de comprendre une situation complexe dans un tel contexte car l’opérateur de supervision fait face au problème de surcharge cognitive. A cela s’ajoute le fait qu’il y a autant d’outils de supervision qu’il y a de socles technologiques à superviser et cela ralentit encore davantage la résolution d’incident. Pour bien comprendre (diagnostiquer) et réagir (corriger), il faut être capable d’avoir une représentation du fonctionnement des systèmes qui s’adapte à chaque contexte.
• Quelle est la bonne méthode à employer pour identifier des activités malveillantes ou des anomalies complexes ou diffuses dans le temps ? Ce type de motif ne peut pas être détecté en utilisant des méthodes simples (p. ex. règles logiques, corrélation, etc.) et leur non-détection peut causer des indisponibilités et des pannes durant plusieurs heures voire jours.

Pour répondre à ces défis, la solution NORIA propose de s’appuyer sur une vision globale et intégrée du cycle de vie des réseaux, enrichie par des indicateurs générés par des algorithmes d’intelligence artificielle (IA) afin de traiter plus efficacement les situations complexes. Cette réconciliation des données est réalisée à l’aide d’un graphe de connaissances massif structuré par une ontologie, nommée NORIA-O, modélisant des aspects temporels, structurels, procéduraux et dynamiques des réseaux (voir https://hellofuture.orange.com/fr/le-sens-du-sens-les-ontologies-ce-nest-pas-que-de-la-philosophie/ pour une présentation plus détaillée des concepts de graphe de connaissances et d’ontologie). Des approches basées sur de l’apprentissage profond (deep learning), de l’inférence ou l’interrogation du graphe sont mises en œuvre pour mettre en évidence les situations anormales nécessitant l’attention de l’exploitant.

Libérer la puissance du graphe de connaissances

Dans le voyage menant des données produites par le réseau à la production d’indicateurs pertinents pour l’exploitant, la première étape est la représentation des infrastructures réseaux à l’aide d’un graphe de connaissances. Il s’agit de modéliser et d’enregistrer toutes les données nécessaires à l’exploitation des réseaux dans un format qui permet une interprétation simple et univoque et ce quelle que soit la source des données et le profil du collaborateur qui les consulte.

Pour cela, NORIA fournit une vue réconciliée des données provenant de multiples plates-formes, services et couches de réseau. Ce graphe de connaissances massif est structuré par l’ontologie NORIA-O (illustrée ci-dessous avec les concepts principaux de l’ontologie en jaune), qui modélise les aspects temporels et dynamiques (c.-à-d. la vie du réseau dont les évènements et les tickets d’incident), structurels (c.-à-d. la topologie de l’infrastructure avec ses ressources physiques et virtuelles ainsi que les liaisons réseaux), procéduraux (c.-à-d. les procédures pouvant s’exécuter sur le réseau telles que les opérations de remédiation) et fonctionnels des réseaux (c.-à-d. les services et applications portés par l’infrastructure) :

Cette ontologie, disponible en open-source (https://w3id.org/noria/) permet de modéliser de manière unifiée et normalisée les connaissances sur les infrastructures réseau. La notion d’élévation sémantique est appliquée ici pour passer d’un univers dans lequel un concept peut être exprimé de différentes manières (selon les formats de données, les équipements, etc.) à un univers dans lequel les connaissances sont représentées à un niveau conceptuel faisant abstraction de toute matérialisation syntaxique. Par ailleurs, la modélisation en graphe de connaissances permet de bénéficier d’un format structuré, intelligible pour les exploitants humains utilisant le graphe de connaissances et interprétable par les algorithmes d’analyse automatique.

Parmi les autres forces de NORIA-O se trouvent l’utilisation des technologies du Web sémantique (dont des modèles et des vocabulaires du Linked Open Data) et la contribution de plus de 150 experts réseau du groupe Orange pour sa construction. NORIA-O émerge ainsi d’une vision partagée et consensuelle des infrastructures réseaux garantissant sa réutilisation dans de nombreux cas d’utilisation et au sein de nombreuses entités (dans le groupe Orange mais également en externe). L’ontologie est par ailleurs en phase avec les recommandations internationales sur les télécommunications avec un alignement sur les standards du TM-Forum et du W3C. Ce dernier point garantit l’impact potentiel de cette modélisation.

4.000.000 de connaissances sur les infrastructures réseaux du Groupe dans le graphe de connaissances NORIA-KG

Des données aux connaissances : intégration et mapping des données du réseau

Après avoir proposé une modélisation ontologique des infrastructures réseaux, la deuxième étape consiste à ingérer et transformer les données du système d’informations afin de construire dynamiquement le graphe de connaissances (qui devient alors un jumeau numérique de l’infrastructure). Pour cela, NORIA s’est doté d’un pipeline automatique d’intégration de données entièrement basés sur des technologies open-source auxquelles, par ailleurs, nos équipes de recherche contribuent (SMASSIF-RML (https://github.com/Orange-OpenSource/SMASSIF-RML) et ssb-consum-up (https://github.com/Orange-OpenSource/ssb-consum-up) pour exemples). Pour passer des sources de données à des informations saillantes remontées aux opérateurs, NORIA s’appuie sur un pipeline robuste composé de quatre étapes illustrées dans la figure ci-dessous.

L’étape de collecte de données, tout d’abord, vise à s’interfacer avec des gisements de données ou des données en flux afin d’extraire la matière première nécessaire à la construction du graphe de connaissances : ressources et topologie, logs et alarmes, tickets d’incident, travaux programmés, informations sur l’organisation, etc. Ces données sont ensuite annotées lors d’une deuxième étape. Il s’agit ici d’étiqueter les données avec des concepts et des propriétés de l’ontologie afin de réaliser la correspondance entre chaque gisement de données (et chaque format de donnée donc) et le graphe. Pour cela, le langage RML (https://rml.io/) est utilisé pour construire des règles de transformation permettant de passer d’un monde hétérogène à un monde réconcilié et normalisé en RDF, l’un des standards du Web sémantique. Après cette étape, le graphe de connaissances est alors une représentation fidèle des différents aspects de l’infrastructure réseau supervisée. Les deux étapes suivantes visent à exploiter cette structure pour servir au mieux les besoins des exploitants. L’étape d’inférence vise à consolider le graphe de connaissances via des processus de validation utilisant les standards du W3C comme SHACL (vérification de contraintes, https://www.w3.org/TR/shacl/) et à enrichir le graphe de connaissances avec de nouveaux faits générés par des processus d’inférence ou de détection. Les différentes approches utilisées sont détaillées dans la section suivante de ce billet. Enfin, la dernière étape voit l’exploitant interroger le graphe de connaissances à l’aide du langage d’interrogation SPARQL (https://www.w3.org/TR/sparql11-query/) pour accéder directement aux connaissances ou via l’interface NORIA UI pour un rendu plus intelligible et concis de l’information. Cette interface graphique constitue une boîte à outils permettant à l’exploitant de rechercher efficacement des signaux faibles dans les grandes masses de données présentes dans le graphe de connaissances et de réaliser ensuite une investigation lui permettant de mettre le doigt sur la ou les causes du problème.

L’IA neuro-symbolique à la rescousse des exploitants

Après avoir construit un graphe de connaissances miroir de l’infrastructure réseau, l’étape suivante est d’analyser les connaissances de ce graphe pour aider l’expert réseau dans son travail au quotidien. Une anomalie telle qu’une panne ou une activité malveillante peut provenir de plusieurs facettes. Il est donc ainsi nécessaire de combiner plusieurs approches d’analyse pour aider à diagnostiquer la cause de l’anomalie et choisir la solution adéquate pour y remédier. La figure ci-dessous illustre les trois modes d’analyse aujourd’hui proposés par la solution NORIA.

L’approche dite « model based design » a pour objectif de traduire des connaissances des experts sur des situations remarquables en requête permettant d’interroger le graphe. Il s’agit plus concrètement d’encoder des règles métiers en requête SPARQL visant à identifier certains motifs dans le graphe de connaissances. Dans la figure ci-contre, le model based design permet ainsi d’identifier le motif particulier d’une application « app_tst » actuellement portée par deux ressources « srv_tst_1 » et « srv_tst_2 » dont l’une est défaillante (alarme « InterfaceDown » associé au nœud « srv_tst_1 »). Ce motif est mis en exergue dans l’interface graphique (via l’alarme « AtRisk50% ») afin que l’exploitant prenne compte cette information significative. Ce type d’approche peut être utilisé pour détecter également des modifications anormales de droits utilisateurs ou l’absence de trafic sur une interface réseau normalement active.

L’approche dite de « process mining » ensuite vise à donner du sens à une séquence d’évènements. Avec l’aide des experts ou bien par apprentissage automatique, NORIA s’est constitué une base de diagramme de séquences qui sont autant de motifs pouvant être recherchés dans le graphe pour associer une signification à un enchaînement d’évènements ou, même mieux, comprendre les causes du phénomène. Dans l’exemple, le process mining nous permet de remonter à une cause probable de l’indisponibilité de la ressource « srv_tst_1 » : l’alarme « TimeOut » sur le routeur « rt_tsi_1 ».

Enfin, la dernière approche dite de « statistical learning » consiste à comparer des sous-graphes en réalisant une opération mathématique de plongement des nœuds et de leurs relations dans un espace vectoriel, ce qui permet de réaliser ce type de comparaison efficacement tout en prenant en compte la sémantique du graphe de connaissances. Plus concrètement, ce type d’opération peut, par exemple, permettre de comparer une situation nouvelle pour l’opérateur (qui constitue donc un sous graphe de connaissances) avec des situations passées similaires (qui sont autant de sous graphes) pour laquelle une équipe a pu proposer des solutions satisfaisantes.

Démonstration des capacités de NORIA

Pour mettre à disposition des exploitants les capacités de l’approche NORIA, nos équipes ont développé une interface nommée NORIA UI ayant pour objectif d’assister les opérateurs face à la surcharge cognitive résultant de la complexité des situations, du volume et de l’hétérogénéité des événements générés par les infrastructures réseau. Cette interface façonne la future génération de systèmes de supervision pour répondre aux besoins des gestionnaires d’incidents réseau et des analystes en cybersécurité. NORIA UI se présente sous la forme d’un tableau de bord graphique qui offre une vue dynamique et croisée des incidents, des ressources réseaux, des services et des évènements.

Une démonstration des fonctionnalités de l’outil a été effectué lors des Orange Open Tech Days. Consultez dès maintenant la vidéo pour voir une démonstration des capacités de NORIA :

Plusieurs fonctionnalités y sont illustrées, parmi lesquelles :

• La capacité de la solution à produire une vue d’ensemble d’une situation décrite dans des logs provenant de sources hétérogènes grâce à la réconciliation opérée par le pipeline d’ingestion de données et le graphe de connaissances ;
• L’analyse avancée des activités se déroulant sur les réseaux via des approches tirant partie de la structure du graphe de connaissances (interrogation via des requêtes), des approches de modélisation de processus et des techniques d’apprentissage automatique ;
• Les fonctionnalités collaboratives et de visualisation de l’outil. L’interface propose pour cela un mécanisme de notebook permettant aux exploitants de mener à bien leur investigation plus efficacement en mémorisant dans un espace de travail les entités pertinentes pour le cas en cours d’investigation. Ils peuvent par la suite partager ce notebook avec d’autres exploitants via des mécanismes d’export et de partage.

Conclusion

NORIA ouvre la voie à une génération future d’outils de supervision basée sur des graphes de connaissances et des outils de machine learning. Pour atteindre cet objectif, NORIA s’appuie sur un écosystème fort et riche. Tout d’abord, NORIA encourage l’adoption des standards du Web Sémantique en s’appuyant sur des standards internationaux comme le W3C et le TMForum. Par ailleurs, le projet NORIA est consommateur de technologies open source mais aussi, et surtout, contributeur. Enfin, NORIA bénéficie également d’une collaboration scientifique avec le laboratoire EURECOM (https://www.eurecom.fr/)  autour des sujets de la représentation des connaissances et des techniques de détection d’anomalies dans les graphes de connaissances.

Le futur de NORIA est résolument orienté vers le transfert du produit de la recherche vers un produit utilisable par les exploitants des réseaux dans le Groupe Orange. Supportant plus de quinze sources de données intégrées dans le graphe de connaissances multi-facettes, NORIA peut proposer des solutions innovantes à plusieurs entités dont les équipes d’Orange France ou encore les équipes d’Orange Cyberdéfense sur des cas d’utilisation de Cyber Threat Intelligence.