Les NPU permettent d’effectuer des tâches d’IA beaucoup plus rapidement que les processeurs classiques.
Le mode HDR (High Dynamic Range), que l’on retrouve aujourd’hui dans la plupart de nos smartphones, a déjà montré le potentiel des technologies d’intelligence artificielle mobiles en photographie. Lorsqu’il est activé, l’appareil prend plusieurs photos avec différentes expositions, puis les combine grâce à un logiciel pour obtenir les meilleures couleurs et plus de détails, à la fois dans les zones sombres et claires.
Une série d’avancées fondées sur l’IA et particulièrement l’apprentissage automatique ouvrent de nouvelles pistes.
Un processeur dédié à l’IA
Depuis 2017 existent sur le marché des Neural Processing Units (NPU), puces dédiées à l’intelligence artificielle, qui cohabitent sur un même circuit avec un processeur, de la mémoire, une puce graphique, des modules de communication sans fil et parfois des capteurs. Conçus pour accélérer des réseaux de neurones artificiels, les NPU permettent d’effectuer des tâches d’IA beaucoup plus rapidement que les processeurs classiques, avec une consommation énergétique réduite et sans passer par le cloud. Les calculs s’effectuent sur le téléphone, ce qui offre, en plus du gain de temps, un gain de sécurité.
Cela permet d’intégrer des fonctionnalités photo très intéressantes, comme la segmentation sémantique d’image, c’est-à-dire la reconnaissance intelligente des éléments d’une image (qui peuvent ensuite être améliorés en appliquant des réglages adaptés à chacun d’eux).
Aujourd’hui, des NPU équipent les appareils vedettes les plus récents des grands constructeurs.
Voir dans le noir grâce au machine learning
Introduit en 2018 dans l’appareil photo du Pixel 3, le mode Vision de nuit (Night Sight) de Google permet lui de s’adapter aux différentes conditions d’éclairage nocturne et d’obtenir un rendu naturel, sans flash ni trépied, grâce au machine learning. En pratique, lorsque le Pixel est stable et qu’il y a peu de mouvement dans la scène, Night Sight augmente la durée d’exposition afin de capter le plus de lumière possible et de limiter le “bruit”.
Si le téléphone ou le sujet bouge, il diminue la durée d’exposition mais prend plusieurs clichés, sombres mais nets, qu’il combine ensuite pour recréer une seule photo nette et bien éclairée.
Sauver les clichés ratés, l’IA en post-production
Si, malgré ces outils, le photographe rate son cliché, il peut utiliser un logiciel d’édition basé sur le machine learning. Depuis plusieurs années, la société Skylum démocratise la retouche photo basée sur l’IA. Les outils de son logiciel Luminar simplifient des tâches laborieuses et complexes (comme l’embellissement de la peau ou le changement de ciel), tandis que Photolemur améliore les images de façon automatique, sans commandes manuelles.
Si des chercheurs travaillent sur des techniques algorithmiques de super-résolution depuis plusieurs années, quelques solutions, comme Let’s Enhance ou la fonctionnalité ML Super Resolution dans Pixelmator Pro, sont désormais disponibles au grand public.
La plupart de ces techniques reposent sur le même principe : un réseau neuronal convolutif profond (un type de réseau de neurones artificiels utilisé dans la reconnaissance et le traitement des images, spécialement conçu pour l’analyse des pixels) est entraîné à partir d’un jeu de données lui permettant d’apprendre les spécificités de différents types d’objets.
Lorsqu’on lui soumet une image en basse résolution, il est capable de prédire et d’ajouter les pixels supplémentaires nécessaires pour créer une image de meilleure résolution.
Plus spécialisé, le logiciel Sharpen AI améliore la netteté des clichés en agissant sur trois types de flou : le flou de bougé, le flou de mouvement et le flou lié à un manque de piqué de l’objectif.
S’appuyant sur un algorithme d’apprentissage profond entraîné avec des millions d’images, il détecte les zones de flou et est capable de reconstruire les pixels manquants pour recréer de l’information, le tout en limitant la création d’artefacts et l’augmentation du bruit dans le reste de l’image.
L’IA contre les faux contenus
Si l’IA permet d’obtenir des images retouchées de plus en plus réalistes, on peut s’interroger sur sa capacité à détecter les modifications apportées dans un contexte de multiplication des fake contents.
Des chercheurs d’Adobe, en partenariat avec une équipe de recherche de l’université de Berkeley, se sont appuyés sur un réseau de neurones convolutif pour déceler les retouches effectuées à l’aide du filtre Fluidité de Photoshop (avec un taux de réussite de 99%, contre 53% pour l’œil humain) et pour restaurer l’image dans son état d’origine.
De l’autre côté des États-Unis, des chercheurs de l’Institut Polytechnique de l’université de New York ont mis au point une technique expérimentale, utilisable par la caméra du smartphone, permettant de vérifier l’authenticité d’une photo ou d’une vidéo sans détériorer la qualité de l’image. À l’aide d’un réseau neuronal artificiel, ils ont implanté des artefacts dans le cliché, créant une sorte de signature numérique “infalsifiable” qui survit au post-traitement de l’image.
