● Une combinaison d’algorithmes de détection d’objets et de reconnaissance de postures corporelles analysent les gestes du cuisinier.
● Les tâches concernées sont encore très simples. A terme, la méthode pourra s’appliquer aux préparations les plus complexes vues sur des vidéos en ligne.
Mixeur, râpe-légume, blender… Les robots ménagers qui abondent dans les cuisines ne sont en fait que des ustensiles améliorés. Une équipe du laboratoire de robotique bio-inspirée de l’Université de Cambridge, en Angleterre, cherche à mettre au point de « vrais » robots cuisiniers capables de suivre une recette après l’avoir apprise. Elle s’appuie sur la méthode des réseaux de neurones en intelligence artificielle.
L’an dernier, elle a présenté un robot imitant la faculté d’un humain à évaluer la salinité d’un plat en fonction de l’évolution de la texture du plat en cours de mastication. Ce nouveau projet, détaillé dans une publication en juin 2023, concerne essentiellement l’apprentissage du robot et, dans une moindre mesure, la découpe et le mélange des ingrédients. En l’occurrence, il s’agit d’exécuter huit salades différentes, composées de deux ou trois ingrédients choisis parmi cinq (fruits, légumes), l’idée étant moins d’accomplir des tâches culinaires élaborées que d’éprouver la robustesse des technologies employées.
Reconnaissance d’objets et de postures corporelles
L’apprentissage repose sur l’observation visuelle d’un cuisinier humain. Concrètement, une caméra cadre une séquence vidéo montrant un humain (l’un des chercheurs) réalisant les recettes. Des algorithmes de vision par ordinateur analysent image par image et en temps réel ce qui se déroule. L’équipe a utilisé deux réseaux de neurones existants, développés et mis à jour pour la recherche en intelligence artificielle. YOLO, publié en 2016, conçu pour la détection et la reconnaissance d’objets, a été entraîné sur la base de données COCO de scènes réalistes du quotidien. Dans le contexte de ce projet, il identifie des ustensiles de cuisine et des ingrédients, ainsi que leur position dans l’espace. L’autre algorithme, OpenPose (2018), est dédié à la reconnaissance de postures corporelles. Ici, il sert à détecter la posture du poignet droit du cuisinier de la vidéo. « Les coordonnées de chaque partie du corps et celles de chaque objet sont enregistrées pour former une trajectoire quand elles sont extraites d’une multiplicité de plans », explique l’article. La corrélation du suivi de la position de la main droite avec celui des objets permet au système de déduire ce qui a été attrapé par le cuisinier et ce qui doit être pris en compte pour l’apprentissage.
Un apprentissage vidéo pour gagner du temps
À chaque nouvelle vidéo, le système compare avec les gestes et objets vus précédemment. Il n’a ainsi pas besoin de stocker à nouveau ce qu’il reconnaît, ce qui permet de gagner du temps. S’il est confronté à des données nouvelles, il comprend qu’il a affaire à une autre recette et l’enregistre comme telle.
À force de s’améliorer dans l’identification d’ingrédients vus en vidéos, ces robots cuisiniers pourraient être aptes à se servir de sites comme YouTube pour apprendre tout un tas de recettes.
C’est pour gagner du temps que les chercheurs ont privilégié cette approche à partir de vidéos, plutôt qu’en se fondant sur des mises en scène réelles. « Je peux faire des démos un jour, puis coder le reste du système pas à pas, explique Grzegorz Sochacki, doctorant en robotique coauteur de ce projet. Cela me permet également de mener la partie analyse à part, sur n’importe quel ordinateur, chez moi ou en voyage. »
Variation d’une recette existante ou nouvelle recette ?
Le système peut reconnaître les recettes dans 94% des démonstrations. Mieux : quand les chercheurs multiplient par trois la quantité d’ingrédients d’une recette connue du robot, ou inversent l’ordre dans lequel ceux-ci sont découpés, le système ne se trompe pas. L’ajout d’un élément (une tranche d’orange) à cette même recette ne suffit pas non plus à le leurrer : il comprend qu’il a affaire à une légère variation.
De plus, le robot détecte une nouvelle recette quand il y a trop de différences avec les démonstrations passées. Même si ce n’est pas l’objet du projet, les chercheurs ont réussi à la lui faire réaliser, par le biais d’un bras robotique relié à un découpe-légume. « Notre robot n’est pas conçu pour toutes ces vidéos virales de recettes sur les réseaux sociaux, elles sont bien trop difficiles à suivre, prévient Grzegorz Sochacki. Mais à force de s’améliorer dans l’identification d’ingrédients vus en vidéo, ces robots cuisiniers pourraient être aptes à se servir de sites comme YouTube pour apprendre tout un tas de recettes. »
Grzegorz Sochacki
