L’IA s’incruste dans le silicium de nos smartphones
⏱ 4 minDSP, HTP, TPU, NPU… Des processeurs d’un genre nouveau ont fait leur apparition dans nos smartphones ces dernières années. Objectif : accélérer le fonctionnement des applications faisant appel à l’intelligence artificielle, de plus en plus nombreuses aujourd’hui.
Amélioration de photos, reconnaissance de la voix, de gestes, voire de l’écriture manuscrite, ou encore certaines applications de réalité virtuelle ou augmentée : autant d’outils apparus progressivement sur nos mobiles depuis la fin des années 90, et dont le point commun tient en deux lettres : IA. Derrière chacun d’eux se cachent en effet des algorithmes de plus en plus sophistiqués relevant de l’intelligence artificielle. « Ces dernières années, l’IA et notamment l’apprentissage profond sont devenus l’une des tendances clés du secteur de la téléphonie mobile », analysaient ainsi dès 2019 les auteurs d’une publication consacrée aux progrès de l’apprentissage profond sur smartphone1. L’intrusion de l’IA dans nos poches a débuté dans des conditions pour le moins précaires. Les terminaux d’alors ne disposaient que d’unités centrales de traitement (CPU en anglais, pour Central Processing Unit) et de processeurs graphiques (GPU) d’une puissance limitée. Et la mémoire vive se mesurait alors en mégaoctets. Les années 2010 ont marqué un tournant avec l’apparition, notamment, de processeurs multicœurs de plus en plus performants ainsi que de processeurs graphiques à l’avenant. Mais l’IA criait encore famine…
« Les algorithmes d’IA, notamment de perception, sont gourmands. Le CPU et le GPU n’ont pas été conçus pour eux. », explique Jean-Baptiste Guignard, chercheur en sciences cognitives, co-fondateur de Clay AIR2 et directeur de la recherche et de l’ingénierie chez Qualcomm. Une première solution consiste à déporter les calculs sur un serveur distant, dans le cloud, mais il y a des conséquences… « Cela implique des problèmes de latence, et de potentielles questions sur le respect de la vie privée », souligne Luc Julia, co-créateur de l’assistant vocal Siri d’Apple et actuel directeur scientifique du groupe Renault.
Des processeurs d’un nouveau genre
Parallèlement à l’évolution des performances des CPU et GPU, de nouveaux types de processeurs – intégrés au sein des SoC3, les « puces » de nos smartphones – ont fait leur apparition il y a quelques années, avec pour mission spécifique d’accélérer – en local – le fonctionnement des algorithmes d’apprentissage automatique et notamment les réseaux de neurones. Premier d’entre eux, le DSP (pour digital signal processor), un processeur optimisé pour le traitement numérique du signal. « Quand on fait de la reconnaissance d’objet, de main, de visage… le nombre de cœurs de CPU importe peu, à vrai dire. On fait d’abord appel, en fait, au DSP », explique Jean-Baptiste Guignard. « Tous les SoC Qualcomm ont un DSP depuis des années maintenant. Mais ce qui est nouveau depuis un an ou deux, c’est la présence à la fois d’un DSP, en plus du CPU et du GPU, mais aussi d’un HTP4, un processeur spécifiquement dédié à l’apprentissage automatique. », ajoute le directeur de la recherche et de l’ingénierie de la marque américaine. Une évolution que l’on retrouve également, par exemple, dans les puces développées par Google pour sa gamme de smartphones Pixel, comme le note Luc Julia : « Google a été l’une des premières entreprises du secteur à intégrer dans ses puces des Tensor Processing Units, ou TPU, qui sont spécifiquement conçues pour TensorFlow, sa bibliothèque logicielle open source dédiée au deep learning. »
Grâce à ces systèmes sur puces intégrant désormais CPU, GPU, mais aussi DSP ou encore des processeurs dédiés à l’apprentissage, les calculs liés au fonctionnement des applications de l’IA peuvent être répartis au mieux en fonction de la nature de chaque algorithme. « La tendance actuelle est à la distribution, à la répartition spécifique des calculs plutôt qu’à l’augmentation de la puissance des processeurs. Cela poserait en effet des problèmes de consommation, et donc de chaleur », analyse Jean-Baptiste Guignard.
Mais il y a d’autres options…
Et pour diminuer un peu plus encore la consommation liée aux algorithmes d’IA, Qualcomm mise également sur la traduction de certains d’entre eux en silicium dans ses puces. « Si l’on prend l’exemple d’un algorithme de hand-tracking (détection et suivi des mains en réalité virtuelle, ndlr), qui consomme 31 mW, et que l’on souhaite faire chuter sa consommation à 5 mW, la seule solution est de le graver en dur dans la puce. Ses performances, sous certains aspects, pourront, certes, peut-être un jour être dépassées, mais son efficacité énergétique restera tout simplement imbattable », assure le directeur de la recherche et de l’ingénierie de Qualcomm.
Les processeurs spécifiquement dédiés à l’IA semblent donc voués à jouer un rôle de plus en plus crucial dans les smartphones, en permettant d’en accroître les performances, mais également l’efficacité énergétique. Mais optimiser la consommation électrique passe également par l’optimisation des algorithmes eux-mêmes, comme le souligne Luc Julia : « Le problème que l’on a aujourd’hui est que l’on “fait des trucs parce qu’on peut les faire” : il est trop facile de faire de l’IA non frugale. On ne cherche pas assez l’efficacité. On se retrouve ainsi avec des algorithmes qui utilisent beaucoup trop de données. Je pense que l’on pourrait être beaucoup plus intelligent dans la gestion des données et des algorithmes eux-mêmes. En ces temps de fin d’abondance, il faut commencer à penser à l’énergie. Nous sommes aujourd’hui au meilleur moment pour retourner vers l’efficacité, revenons donc au machine learning efficace et frugal… ».
Benoît Crépin
IA locale or not locale, telle est la question
L’émergence de SoC pour smartphones dotés de processeurs spécifiquement dédiés à l’IA peut sembler augurer la fin des traitements distants. Une perspective particulièrement bienvenue pour le spécialiste de l’IA Luc Julia : « On a des puces spécialisées qui vont permettre d’aller vers de plus en plus de local. Il y a deux raisons pour lesquelles il faut le faire. La première est celle du respect de la vie privée, la seconde est celle de l’énergie : les datacenters sont une aberration écologique. Faire des allers-retours sur ces datacenters c’est quand même complètement stupide. Si on peut tout faire en local, ce que l’on appelle maintenant l’informatique “on the edge”, il faut le faire. C’est ce vers quoi on va, et on y est obligé, pour les deux raisons que j’ai citées. »
Pour le directeur de la recherche et de l’ingénierie de Qualcomm Jean-Baptiste Guignard en revanche, l’enjeu repose plutôt sur l’optimisation des calculs réalisés sur des serveurs distants. « La question essentielle est de réaliser les calculs à distance de manière efficace et rapide. Ce n’est pas encore le cas de tout le monde, mais beaucoup, comme Apple ou Qualcomm y arrivent bien. On va dans ce sens-là, celui de la délocalisation. Pour préserver l’autonomie et donc le caractère “portable” des mobiles, il faut réaliser les opérations les plus énergivores à distance. Tout ce que l’on peut faire à l’extérieur économise les ressources locales de l’appareil. »
BC
1. Andrey Ignatov et al. (2019). AI Benchmark: All About Deep Learning on Smartphones in 2019. ICCVW, 2019. doi.org
2. Start-up rachetée par Qualcomm fin 2021.
3. System on a chip, ou système sur une puce : système intégrant notamment les différents processeurs et la mémoire sur un même circuit intégré.
4. Hexagon Tensor Processor.
