Dans de nombreuses situations réelles, des décisions doivent être prises précocement, c’est-à-dire, en l’absence d’une connaissance complète du problème à résoudre. Pour ne citer qu’un seul exemple de la vie courante : une météo qui devient incertaine peut faire annuler un pique-nique familial, au profit d’un restaurant. Mais, à quel moment prendre cette décision ? Une décision trop précoce sera incertaine par nature, et une décision trop tardive pose des problèmes d’organisation.
Des décisions précoces sont également requises dans de nombreux cas d’usages du groupe Orange, dans le but d’agir le plus tôt possible :
- Avant qu’un client n’ait définitivement décidé de partir à la concurrence ;
- Avant que le compte bancaire d’un client ne soit complétement vidé, suite à une fraude ;
- Avant qu’un équipement réseau ne tombe en panne et provoque des perturbations importantes.
Dans de nombreux exemples de la vie courante, le timing des décisions est guidé par « l’image mentale » que le décideur se construit sur les situations probables du futur.
Quel est le bon timing pour décider ?
Dans de telles situations, plus la décision est retardée, plus le dénouement probable est clair (ex : l’état critique – ou pas – d’un équipement réseau) et également plus le coût de retarder la décision est élevé : des décisions prises plus tôt permettent généralement de mieux se préparer. L’objectif est donc de prendre des décisions à des moments qui semblent être de bons compromis entre la précocité et la qualité de la décision.
Formellement, le fait de retarder les décisions tend à les rendre plus fiables car un gain d’information peut être observé au cours du temps : la connaissance sur le problème à résoudre se complète et devient plus précise. Pour déterminer le bon moment de décision, il faut donc estimer ce gain d’information et le mettre en balance avec le coût de retarder la décision.
Ce dilemme entre la précocité et la qualité des décisions a été particulièrement étudié dans le domaine de la « classification précoce des séries temporelles » (ECTS) [1, 6, 7]. Néanmoins, l’ECTS présente des limitations (présentées ci-dessous) qui restreignent le domaine d’application. Ainsi, un problème plus général, nommé , a été récemment introduit [2] dans le but d’optimiser les moments de décision de modèles de Machine Learning [5], dans un large éventail de contextes où les données sont collectées au cours du temps.
Pourquoi la classification précoce de séries temporelles est un problème limité ?
L’objectif de ce problème est de prédire, le plus tôt possible, la classe d’une série temporelle observée progressivement au cours du temps. Bien que l’ECTS couvre un grand nombre d’applications, il n’épuise pas tous les cas où un modèle de Machine Learning est appliqué à des données collectées au fil du temps, et où le compromis entre la précocité et la qualité des décisions doit être optimisé. En effet, l’ECTS, tel que défini dans la littérature, se limite à la situation suivante :
- Un problème de classification (ex: anomalie vs fonctionnement nominal) ;
- Un ensemble d’apprentissage disponible qui contient des séries temporelles complètes et correctement étiquetées (ex: des journées de fonctionnement d’un appareil) ;
- Une échéance de décision qui est fixe et connue à l’avance (ex: fin de journée);
- Une décision unique pour chaque série temporelle ;
- Une décision qui, une fois prise, ne peut jamais être changée ;
- Des coûts de décision fixes, ne dépendant pas du moment de déclenchement et de la décision prise.
Du problème de l’ECTS vers le ML-EDM
L’article de positionnement [2] vise d’une part à dépasser les limitations de ECTS et à définir un problème plus général appelé ML-EDM et, d’autre part, à développer ce nouveau champ de recherche en proposant dix défis à la communauté scientifique.
En particulier, les extensions par rapport à l’ECTS consistent à étendre les approches de décision précoces à tout type de données évoluant au cours du temps (ex : textes, graphs, séquences) ; d’étendre ces approches à tout type de tâches d’apprentissage (ex : régression, forecasting, non-supervisé) ; d’étendre ces approches au traitement en ligne, sur des données observées en continue sous la forme d’un flux de données.
Au-delà de ces extensions naturelles, un nouveau problème d’apprentissage a été formalisé. En effet, à la différence de l’ECTS, le problème du ML-EDM implique de « multiples » décisions précoces à « localiser » dans le temps. La difficulté est donc double, puisqu’il faut à la fois prédire le prochain événement et la période de temps associée. Il faut ajouter à cela la possibilité de révoquer les décisions lorsque de nouvelles données les invalident, c’est-à-dire, modifier la prédiction du prochain événement et/ou modifier la période de temps associée.
Le ML-EDM est donc un problème beaucoup plus général que l’ECTS, qui ouvre à de nombreux cas d’application, notamment le monitoring de système en continue.
La non-myopie : une propriété essentielle
Dans de nombreux exemples de la vie courante, le timing des décisions est guidé par « l’image mentale » que le décideur se construit sur les situations probables du futur. Par exemple, un piéton qui cherche à traverser un carrefour estime quelle sera la situation dans les prochaines secondes :
- Scénario 1 : seulement quelques véhicules, à la fois lents et légers, sont présents sur la route (ex: vélo, trottinette), et donc le risque de traverser le carrefour maintenant est faible.
- Scénario 2 : peu de véhicules sont visibles, mais le son puissant d’une moto qui accélère attire la vigilance du piéton et retardera donc sa décision.
Les approches de ML-EDM dites « non-myopes » [1] possèdent cette capacité à anticiper les informations non-observées, étant donné un contexte particulier. Cela est techniquement possible car ces approches sont entrainées sur des exemples d’apprentissage « complets » où le dénouement de ces situations est connu. Par analogie, un adulte, qui a l’expérience de nombreuses situations passées, saura mieux décider quand traverser un carrefour à pied qu’un jeune adolescent qui a peu d’expérience en la matière.
En pratique, la propriété de non-myopie est indispensable pour obtenir de meilleures performances ; ce qui a été montré dans [1] pour le cas particulier de l’ECTS. Cependant, élaborer des approches non-myopes dans le contexte général du ML-EDM est un défi considérable et une piste de recherche prometteuse [2].
Conclusion
L’article introduisant le problème du ML-EDM [2] a été rédigé en collaboration avec plusieurs universitaires européens, i.e. AgroParisTech, Télécom Paristech, université de Porto, université de Waikato et université Bretagne-Sud. Pour aller plus loin, une série de vidéos introduisant les idées clés et les défis du ML-EDM est disponible sur [3], ainsi qu’une communauté Reddit [4] qui centralise les discussions sur le sujet. N’hésitez pas à vous y inscrire ! Des tutoriels et une librairie Python y seront présentés dans le courant de l’année.
En savoir plus :
[1] Achenchabe, Y., Bondu, A., Cornuéjols, A., & Dachraoui, A. (2021). Early classification of time series. Machine Learning, 110(6), 1481-1504.
[2] Bondu, A., Achenchabe, Y., Bifet, A., Clérot, F., Cornuéjols, A., Gama, J., Hébrail, G., Lemaire, V., Marteau, P.F. Open challenges for machine learning based early decision-making research. ACM SIGKDD Explorations Newsletter, 24(2) :12–31, 2022.
[3] https://www.youtube.com/channel/UCEUK7Q1gARRck1FB4Qo_3aQ
[4] https://www.reddit.com/r/EarlyMachineLearning/
[5] Mitchell, Tom (1997). Machine Learning. New York: McGraw Hill. ISBN 0-07-042807-7
[6] U. Mori, A. Mendiburu, S. Dasgupta, and J. A. Lozano. Early classification of time series by simultaneously optimizing the accuracy and earliness. IEEE transactions on neural networks and learning systems, 2017.
[7] A. Gupta, H. P. Gupta, B. Biswas, and T. Dutta. Approaches and applications of early classification of time series: A review. IEEE Transactions on Artificial Intelligence, 2020