L’IA au service des malvoyants
⏱ 4 minEntre applications pour smartphones et systèmes embarqués, une diversité de dispositifs dopés à l’intelligence artificielle (IA) commence à voir le jour pour faciliter le quotidien des personnes aveugles et malvoyantes.
En France, on compte 61 000 personnes aveugles, et quelque 1 078 000 personnes malvoyantes. Pour faciliter leur quotidien, de nouveaux dispositifs assistés par intelligence artificielle commencent à se démocratiser. Par exemple, l’application pour smartphone Seeing AI de Microsoft a débarqué en 2017 aux États-Unis, et est actuellement en test dans sa version française au sein de l’Association Valentin Haüy.
Tout en un
Application gratuite disponible sur iOS, Seeing AI offre un ensemble de fonctionnalités pratiques en quasi-temps réel : lecture d’un texte, y compris manuscrit, via l’appareil photo du téléphone, description de scènes, possibilité de programmer la reconnaissance faciale de personnes proches, identification de billets ou de produits d’après le code-barres. Si certaines de ces fonctionnalités étaient déjà proposées par d’autres applications, notamment en anglais, l’avantage de Seeing AI est de les regrouper en une seule, gratuite.
L’application est née lors d’un hackathon organisé parmi les employés de Microsoft durant lequel l’ingénieur Saqib Shaikh, lui-même malvoyant, a développé l’idée d’exploiter les progrès de la vision artificielle. Mais le géant américain reste très discret sur le détail des technologies employées. Les fonctions basiques semblent opérées au sein même du téléphone, tandis que les fonctions avancées comme la description de scènes ou la lecture de texte manuscrit nécessitent une connexion et sont en partie basées sur le service cloud de vision de Microsoft Azure Cognitive Services.
Embarquer intégralement un système d’assistance visuelle dans un dispositif, sans besoin de connexion extérieur, c’est en revanche la promesse d’Orcam, une société israélienne cofondée par le créateur de MobilEye, start-up au succès fulgurant dans la vision artificielle pour voitures autonomes. Orcam a développé un petit boîtier baptisé MyEye 2, attachable sur des lunettes ou d’autres accessoires, proposant peu ou prou les mêmes fonctionnalités que Seeing AI. « Nous recourrons à des réseaux de neurones mais aussi à d’autres techniques de classification, avec comme priorité d’avoir un algorithme le plus concis possible, et de se focaliser sur des détails pertinents dans une scène pour limiter la quantité de données à traiter », souligne Yonatan Wexler, directeur scientifique d’Orcam.
D’un usage personnel à professionnel
En 2016, son équipe a publié un article de recherche décrivant notamment une méthode économe, appelée « Multibatch », pour la reconnaissance faciale. « Google ou Facebook parviennent à d’impressionnantes performances mais en mobilisant une puissance et un temps de calcul phénoménaux pour entraîner leurs programmes. La méthode que nous décrivons vise à s’approcher de ces performances, mais avec un ordinateur ordinaire et avec un temps d’entraînementde 12 heures. N’importe quel étudiant ou entrepreneur peut ainsi se l’approprier pour développer un système de reconnaissance visuelle à bas coût », se félicite Yonatan Wexler, qui précise avoir appliqué cette méthode dans la version bêta de MyEye 2.0. « Depuis, nous l’avons perfectionné », précise le spécialiste.
Si MyEye et Seeing AI proposent les mêmes fonctionnalités, les deux dispositifs ne se positionnent cependant pas sur les mêmes usages. « MyEye 2 ne mobilise pas les mains ; il est adapté à des contextes professionnels », fait valoir Yonatan Wexler. Il existe d’autres différences : alors que Seeing AI épuise rapidement la batterie du smartphone en usage continu, MyEye 2 permettrait, selon la société, une journée d’utilisation normale. Enfin, là où Seeing AI stocke des données dans le cloud sur le compte de l’utilisateur, Orcam les stocke localement dans le dispositif sous forme d’algorithme, et non d’images, ce qui pose moins de problème de confidentialité.
Mais ces avantages ne sont pas gratuits : le dispositif est commercialisé autour de 4000 €… un coût pouvant, selon la société, être partiellement pris en charge par la MDPH (Maison départementale des personnes handicapées). « Ce n’est pas si différent d’un appareil auditif [NDLR : 900 à 2 000 €), avec un bénéfice certain pour la société puisque que notre dispositif peut aider des personnes malvoyantes à se maintenir dans une activité professionnelle », observe Yonatan Wexler.
Vers la réalité augmentée sonore
Au stade des recherches cette fois, le CEA (Commissariat à l’énergie atomique et aux énergies alternatives) a récemment dévoilé, à travers le projet Inspex, un boîtier se fixant sur une canne blanche et mariant plusieurs technologies de détection et de mesure des distances (radar, camera de profondeur, lidar, ultrason). L’appareil fournit à l’utilisateur une représentation sonore de son environnement, en direct. Le projet a été mené en partenariat avec la société GoSense, qui propose déjà des boîtiers pour canne blanche embarquant la technologie ultrason uniquement, et qui s’est ici chargée de la partie réalité augmentée sonore. Le CEA a, lui, concentré son expertise sur la reconstruction en temps réel, sur un microcontrôleur embarqué, d’un modèle 3D de l’environnement à partir des mesures fournies par les différentes technologies de capteur, « tout en conservant une consommation énergétique et un encombrement raisonnables », précise Suzanne Lesecq, chef de projet pour le CEA Leti.
Pour y parvenir, les chercheurs ont notamment recouru à de la fusion bayésienne pour construire des grilles d’occupation, grâce à une technologie propre au CEA baptisée Sigma Fusion. « L’intérêt d’utiliser plusieurs types de capteur est d’avoir une meilleure performance de détection, chaque type de capteur n’étant adapté qu’à certains types d’obstacles », précise la chercheuse. Ces recherches restent cependant exploratoires – classées TRL4 en terme de maturité – et ne devraient donc pas déboucher à court terme sur le développement d’un produit.
Hugo Leroux
Illustration à la une : système MyEve de la société Orcam © Orcam
