PoQeMoN : Platform for Quality Evaluation of Mobile Networks

• Connectivité
• Expérience client
• Infrastructure logicielle
• Réseaux

Partager sur Twitter : PoQeMoN : Platform for Quality Evaluation of Mobile Networks (Nouvelle fenêtre) Partager sur Linkedin : PoQeMoN : Platform for Quality Evaluation of Mobile Networks (Nouvelle fenêtre)

La qualité d’expérience est un enjeu fort pour les opérateurs de réseau et plus généralement les fournisseurs de services par Internet, donc en premier plan pour Orange qui assure les deux rôles. Cette notion est cependant difficile à cerner car elle fait entrer en jeu bon nombre d’aspects : parcours client, hot line, qualité subjective du service rendu, etc. Ainsi, la qualité d’expérience résulte d’un mélange complexe de nombreuses facettes des services offerts via Internet. Parmi celles-ci, la qualité du transfert de l’information à travers le réseau joue un rôle très important. Cet aspect est généralement défini / appréhendé / mesuré par des paramètres de qualité de service caractérisant la performance du réseau (perte de paquets, délai, gigue, etc.). Mais au-delà de la qualité de service, d’autres facteurs entrent en jeu : génération des flux de paquets par les serveurs des plateformes de service (flux lisses vs. flux composés de rafales de paquets), présentation de l’information à l’utilisateur sur son terminal (typiquement le player dans le cas de flux vidéo), protocoles de restitution de l’information à l’utilisateur (adaptation de débit, délai avant affichage, etc), …

Pour investiguer ces liens complexes entre réseau et service, le projet PoQemon a été initié au sein du pôle de compétitivité System@tic sous l’impulsion de IP Label et d’autres acteurs clefs du secteur, à savoir Orange, le groupe ALTRAN , la société Data-Publica, INRIA Orpailleur, Genymobile, le Groupe Next Radio, HEC et enfin l’Université Paris Est Créteil.

Le projet PoQemon se propose de répondre aux enjeux suivants :

• Aider les opérateurs à mieux appréhender la qualité de service qu’ils délivrent à l’utilisateur en les dotant d’outils fiables, économiques pouvant être utilisés dans le cadre de campagnes d’audit (couverture, analyse de problèmes, benchmark) dont les coûts seraient réduits.
• Aider les entreprises à améliorer la performance des accès aux systèmes d’information dans un contexte de mobilité (choix du bon opérateur, amélioration de l’infrastructure en certains points de concert avec l’opérateur,…).
• Aider les consommateurs à comprendre la qualité de service réellement délivrée par les opérateurs mobiles, en fournissant des indicateurs de qualité compréhensibles dans le but de les aider à faire un choix basé non seulement sur le prix de la prestation mais aussi sur la qualité en fonction de leurs besoins et usages.

Bien que chaque année des études ARCEP sont publiées pour qualifier la qualité des réseaux mobiles en France à l’aide de speed tests et confirment l’excellence des réseaux d’Orange, le projet PoQEMoN vise à mieux comprendre les liens entre qualité de service et expérience client.

Ainsi, le projet PoQemon se concentre sur les réseaux mobiles (3G et 4G) et fournit un système complet d’évaluation de la qualité de service (QoS) de bout en bout de ces réseaux, de la perception utilisateur du service (QoE) afin d’établir un lien entre ces deux aspects.

Pour ce faire, le projet a développé quatre axes d’études :

• Mesurer précisément et de bout en bout la qualité des réseaux mobiles le plus exhaustivement possible à l’aide d’une technologie embarquée sous la forme d’application mobile,
• Modéliser la qualité d’expérience (QoE) des applications mobiles, car aucun modèle mathématique n’existe à l’image de ce que l’on peut trouver dans l’évaluation de la qualité de la voix (ITU P 862/MOS PESQ),
• Établir et traiter des relations entre la QoE et la QoS des réseaux mobiles permettant à l’opérateur d’avoir une vision exhaustive de la qualité délivrée et de celle réellement perçue.
• Visualiser de manière simple et compréhensible l’ensemble des données collectée (tableaux, cartographies, etc…).

Comme le lien entre qualité de service (QoS), mesurable par l’opérateur, et qualité d’expérience utilisateur (QoE) n’est pas facilement identifiable et dépend pour beaucoup du service utilisé, deux applications ont été développées pour des environnements Android (versions supérieures à 4.2.2) :

• le premier de type speed test permet de tester la qualité du réseau de son opérateur en mesurant notamment les débits en download et upload (via le téléchargement de fichiers), la latence (via des ping). Cette application est téléchargeable via ce lien.
• la seconde application propose de visionner de courtes vidéos Youtube (durée de 60 secondes) et demande systématiquement à la fin de la vidéo le ressenti de l’utilisateur sur le contenu qu’il vient de voir. Un questionnaire préliminaire demande certaines informations sur l’utilisateur afin de récolter des informations pouvant impacter sa perception (comme par exemple sa familiarité ou non avec le visionnage de vidéo Youtube). L’application est téléchargeable via ce lien.

La première application (speed test) fournit en fin du test à l’utilisateur un résumé des résultats et surtout leur interprétation grâce à une barre colorée qui permet d’indiquer si les KPI mesurés sont compatibles avec, par exemple, un visionnage de vidéo. Ce point est très important car il fournit une interprétation simple des résultats pour l’utilisateur. De plus, les différentes données collectées sont rassemblées et présentées sous la forme d’une carte. Cette carte est collaborative dans le sens où toute personne qui va utiliser l’application aura accès aux résultats de l’ensemble des utilisateurs, ce qui lui permettra par exemple de comparer son opérateur avec les autres à des endroits de plus grand intérêt pour lui (lieu de travail, trajet quotidien, domicile…). Cette carte permet la visualisation de l’ensemble des tests effectués avec différents filtres : tous les opérateurs ou un en particulier, tous modes d’accès (2G/3G/4G) ou un en particulier, période d’observation plus ou moins longue, zoom sur une zone/ville. L’utilisateur a également la vue de son historique propre. Un exemple de résultats en fin de test et de la carte visible par l’application est illustré par la Figure 1.

Figure 1 : captures d’écran de l’application de test de connexion

La Figure 2 montre le questionnaire proposé par la deuxième application.

Figure 3 : captures d’écran des questionnaires du testeur vidéo

Au-delà des applications spécifiques développées dans le cadre du projet PoQemon et illustrées ci-dessus, ce projet met en œuvre pour la première fois en France une approche collaborative en matière de métrologie de réseau. Les utilisateurs font des tests et rapportent leurs résultats (y compris subjectifs) sur des serveurs, qui sont ensuite exploités pour caractériser la qualité d’expérience dans les réseaux en France. Cette approche collaborative entre utilisateurs, opérateurs de réseaux, fournisseurs de service et organismes de test est une voie à explorer plus avant pour redonner à tous une vision partagée de la qualité. Vision qui depuis le cryptage quasi-systématique des flux de données (plus de 80 % sur les réseaux mobiles) et l’évolution des protocoles de transport (notamment QUIC introduit par Google) échappe à tous au profit des seuls acteurs Over The Top.

Le « crowd measurement » rétablirait ainsi un équilibre perdu.