Les réseaux de neurones impulsionnels : une sobriété énergétique extrême
⏱ 4 minCette deuxième partie de notre dossier consacré aux réseaux de neurones impulsionnels, plus proches de la réalité biologique et moins énergivores, vous emmène à la rencontre d’équipes qui travaillent sur le passage du modèle à la puce.
« Pour faire de l’apprentissage sur un réseau de neurones impulsionnel, explique Julie Grollier, chercheuse CNRS à l’unité mixte de physique CNRS/Thales, la première idée consiste à reproduire un mécanisme biologique, la STDP (pour « spike timing dependant plasticity », soit « plasticité fonction du temps d’occurrence des impulsions »). » La STDP formalise un phénomène décrit¹ dès 1949 par Donald Hebb, résumé par la formule : « Des neurones qui s’excitent ensemble se lient entre eux » (« Cells that fire together, wire together »), et par la suite érigé en « postulat de Hebb ». Elle consiste à augmenter le poids d’une synapse quand le neurone aval (post-synaptique) produit un potentiel d’action (« spike ») peu après le neurone amont. Inversement, une synapse voit son poids, et donc son influence, diminuer si le neurone amont produit ce « spike » après le neurone aval.
« Mais la STDP ne permet pas d’obtenir un apprentissage efficace, ajoute Julie Grollier. Son effet étant très local, il est difficile d’atteindre avec elle un objectif global. C’est pourquoi la communauté du « Spiking Neural Network » (SNN) est à la recherche de mécanismes plus efficaces. À l’université de Montréal, Yoshua Bengio et son équipe ont notamment proposé², en 2017, un mécanisme dénommé Equilibrium Propagation (Eq-Prop), permettant l’apprentissage dans les réseaux de neurones récurrents (RNN) convergents. Nous avons montré³ avec les mêmes auteurs que ce formalisme est équivalent à la rétropropagation pour ce type de réseaux. » Mais d’autres approches sont proposées. « L’équipe de Wolfgang Maass, à l’université de technologie de Graz (Autriche) a par exemple publié4, en 2020, un autre mécanisme appelé “e-prop”, qui permettrait d’approcher les performances de la rétropropagation sur les RNN », indique Julie Grollier. Il serait plus susceptible d’être transposé sur le silicium.
Une sobriété utile pour l’IA embarquée
Si la communauté de l’intelligence artificielle s’intéresse aux réseaux de neurones impulsionnels, c’est notamment parce qu’ils promettent une sobriété énergétique exceptionnelle. Reste à graver dans le silicium ces réseaux d’un nouveau type et à leur donner du grain à moudre. Quitte, dans l’attente d’un substitut de la rétropropagation efficace et soluble dans le silicium, à laisser de côté la question de l’entraînement du réseau sur la puce elle-même, et à le réaliser sur un équipement classique. Des puces capables d’effectuer avec une extrême efficacité des tâches de classification, de vision artificielle, par exemple, pourraient en effet se révéler très utiles dans des contextes où l’énergie est rare (objets connectés et/ou nomades…).
Sylvain Saighi est professeur à l’université de Bordeaux et responsable de l’équipe AS2N du laboratoire de l’intégration du matériau au système (IMS). Il est aussi le coordinateur du projet européen Ulpec (Ultra-Low Power Event-Based Camera), qui vise à réaliser un démonstrateur de système de vision artificielle faisant appel à un réseau de neurones impulsionnels implanté sur une puce. « Les images proviennent d’une caméra neuromorphique développée par Prophesee », explique le chercheur. Cette start-up française est impliquée dans le projet, tout comme l’équipe de Julie Grollier. À défaut de fournir de véritables impulsions, sa caméra est événementielle, ce qui signifie qu’elle ne produit de l’information que lorsque l’un de ses pixels enregistre une modification de son éclairement. Il est facile de traduire ce train de données en impulsions.
Les promesses du “memristor”
« Notre puce traite un champ visuel réduit, de 784 pixels (28 par 28), précise Sylvain Saighi. La première couche de notre réseau de neurones comporte donc 784 neurones. Une seconde couche de 100 neurones est connectée à la première en “all to all“, c’est-à-dire que chacun de ses neurones est connecté à chaque neurone de la première couche. Ce qui représente donc un total de 78 400 synapses, réalisées à l’aide de memristors. » Ce nouveau type de composant électronique est en quelque sorte une résistance dont la valeur peut être modifiée par un courant électrique ad hoc et qui peut donc jouer le rôle d’une mémoire rémanente analogique (mais aussi digitale).
Au CEA-Leti, Elisa Vianello, responsable du programme « IA embarquée », s’intéresse également à des expériences visant à associer une puce SNN à memristors à un capteur. Son équipe a déjà présenté, en décembre 2019, sa puce Spirit, qui revendique le statut de premier SNN fonctionnel à memristors sur silicium. Son réseau comportait 144 neurones en entrée et 10 en sortie « fully connected » (c’est-à-dire « all to all »). Spirit s’est montré capable de passer5 le fameux test NMIST consistant à reconnaître des chiffres manuscrits.
Puces SNN et capteurs événementiels
« Nous avons depuis lancé deux projets visant à traiter sur une puce SNN des signaux provenant de capteurs événementiels, explique Elisa Vianello. Le projet Esperanto concerne un capteur à ultrasons du type Piezoelectric Micromachined Ultrasonic Transducers (PMUT) pour faire de la reconnaissance de gestes, tandis que le projet Largo interprète des nuages de points issus d’un lidar (sorte de radar faisant appel à un laser infrarouge). Son SNN doit comporter 131 000 neurones et 75 millions de synapses, réalisées à l’aide de memristors. La puce devrait être gravée d’ici 2022. » Pas de doute les réseaux de neurones impulsionnels arrivent !
NOTES
1. “The Organization of Behavior: a Neuropsychological Theory”, D. Hebb. Wiley, New York, 1949.
2. Benjamin Scellier et Yoshua Bengio, “Equilibrium Propagation: Bridging the Gap between Energy-Based Models and Backpropagation”, Front. Comput. Neurosci., 2017. doi.org/10.3389/fncom.2017.00024
3. Maxence Ernoult et al., “Updates of Equilibrium Prop Match Gradients of Backprop Through Time in an RNN with Static Input”, NeurIPS 2019 Processings. arxiv.org/pdf/1905.13633.pdf
4. Guillaume Bellec et al., “A solution to the learning dilemma for recurrent networks of spiking neurons”, Nat. Commun., 2020). doi.org/10.1038/s41467-020-17236-y
5. Alexandre Valentain et al., Fully integrated spiking neural network with analog neurons and RRAM synapses. In Proc. IEEE International Electron Devices Meeting (IEDM) 2019. doi.org/10.1109/IEDM19573.2019.8993431
