logo fullscreen logo
  • Dossier
    • IA quantique
    • Réseaux de neurones enzymatiques
    • Le méta-apprentissage fait ses premiers pas…
    • Les avancées prometteuses de l’apprentissage auto-supervisé
    • Que peut l’intelligence artificielle contre les fake news ?
    • Quand l’IA nous regarde…
    • Les réseaux de neurones impulsionnels
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
logo fullscreen logo
  • Dossier
    • IA quantique
    • Réseaux de neurones enzymatiques
    • Le méta-apprentissage fait ses premiers pas…
    • Les avancées prometteuses de l’apprentissage auto-supervisé
    • Que peut l’intelligence artificielle contre les fake news ?
    • Quand l’IA nous regarde…
    • Les réseaux de neurones impulsionnels
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
Menu
mobile logo
  • Dossier
    • IA quantique
    • Réseaux de neurones enzymatiques
    • Le méta-apprentissage fait ses premiers pas…
    • Les avancées prometteuses de l’apprentissage auto-supervisé
    • Que peut l’intelligence artificielle contre les fake news ?
    • Quand l’IA nous regarde…
    • Les réseaux de neurones impulsionnels
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
18 février 2021
A la Une, DAP, Dossiers thématiques, Les réseaux de neurones impulsionnels, News
#SNN

Les réseaux de neurones impulsionnels : une sobriété énergétique extrême

⏱ 4 min

Cette deuxième partie de notre dossier consacré aux réseaux de neurones impulsionnels, plus proches de la réalité biologique et moins énergivores, vous emmène à la rencontre d’équipes qui travaillent sur le passage du modèle à la puce.  

« Pour faire de l’apprentissage sur un réseau de neurones impulsionnel, explique Julie Grollier, chercheuse CNRS à l’unité mixte de physique CNRS/Thales, la première idée consiste à reproduire un mécanisme biologique, la STDP (pour « spike timing dependant plasticity », soit « plasticité fonction du temps d’occurrence des impulsions »). » La STDP formalise un phénomène décrit¹ dès 1949 par Donald Hebb, résumé par la formule : « Des neurones qui s’excitent ensemble se lient entre eux » (« Cells that fire together, wire together »), et par la suite érigé en « postulat de Hebb ». Elle consiste à augmenter le poids d’une synapse quand le neurone aval (post-synaptique) produit un potentiel d’action (« spike ») peu après le neurone amont. Inversement, une synapse voit son poids, et donc son influence, diminuer si le neurone amont produit ce « spike » après le neurone aval.

« Mais la STDP ne permet pas d’obtenir un apprentissage efficace, ajoute Julie Grollier. Son effet étant très local, il est difficile d’atteindre avec elle un objectif global. C’est pourquoi la communauté du « Spiking Neural Network » (SNN) est à la recherche de mécanismes plus efficaces. À l’université de Montréal, Yoshua Bengio et son équipe ont notamment proposé², en 2017, un mécanisme dénommé Equilibrium Propagation (Eq-Prop), permettant l’apprentissage dans les réseaux de neurones récurrents (RNN) convergents. Nous avons montré³ avec les mêmes auteurs que ce formalisme est équivalent à la rétropropagation pour ce type de réseaux. » Mais d’autres approches sont proposées. « L’équipe de Wolfgang Maass, à l’université de technologie de Graz (Autriche) a par exemple publié4, en 2020, un autre mécanisme appelé « e-prop », qui permettrait d’approcher les performances de la rétropropagation sur les RNN », indique Julie Grollier. Il serait plus susceptible d’être transposé sur le silicium.

Une sobriété utile pour l’IA embarquée

Si la communauté de l’intelligence artificielle s’intéresse aux réseaux de neurones impulsionnels, c’est notamment parce qu’ils promettent une sobriété énergétique exceptionnelle. Reste à graver dans le silicium ces réseaux d’un nouveau type et à leur donner du grain à moudre. Quitte, dans l’attente d’un substitut de la rétropropagation efficace et soluble dans le silicium, à laisser de côté la question de l’entraînement du réseau sur la puce elle-même, et à le réaliser sur un équipement classique. Des puces capables d’effectuer avec une extrême efficacité des tâches de classification, de vision artificielle, par exemple, pourraient en effet se révéler très utiles dans des contextes où l’énergie est rare (objets connectés et/ou nomades…).

Sylvain Saighi est professeur à l’université de Bordeaux et responsable de l’équipe AS2N du laboratoire de l’intégration du matériau au système (IMS). Il est aussi le coordinateur du projet européen Ulpec (Ultra-Low Power Event-Based Camera), qui vise à réaliser un démonstrateur de système de vision artificielle faisant appel à un réseau de neurones impulsionnels implanté sur une puce. « Les images proviennent d’une caméra neuromorphique développée par Prophesee », explique le chercheur. Cette start-up française est impliquée dans le projet, tout comme l’équipe de Julie Grollier. À défaut de fournir de véritables impulsions, sa caméra est événementielle, ce qui signifie qu’elle ne produit de l’information que lorsque l’un de ses pixels enregistre une modification de son éclairement. Il est facile de traduire ce train de données en impulsions.

Les promesses du « memristor »

« Notre puce traite un champ visuel réduit, de 784 pixels (28 par 28), précise Sylvain Saighi. La première couche de notre réseau de neurones comporte donc 784 neurones. Une seconde couche de 100 neurones est connectée à la première en « all to all« , c’est-à-dire que chacun de ses neurones est connecté à chaque neurone de la première couche. Ce qui représente donc un total de 78 400 synapses, réalisées à l’aide de memristors. » Ce nouveau type de composant électronique est en quelque sorte une résistance dont la valeur peut être modifiée par un courant électrique ad hoc et qui peut donc jouer le rôle d’une mémoire rémanente analogique (mais aussi digitale).

Au CEA-Leti, Elisa Vianello, responsable du programme « IA embarquée », s’intéresse également à des expériences visant à associer une puce SNN à memristors à un capteur. Son équipe a déjà présenté, en décembre 2019, sa puce Spirit, qui revendique le statut de premier SNN fonctionnel à memristors sur silicium. Son réseau comportait 144 neurones en entrée et 10 en sortie « fully connected » (c’est-à-dire « all to all »). Spirit s’est montré capable de passer5 le fameux test NMIST consistant à reconnaître des chiffres manuscrits.

Puces SNN et capteurs événementiels

« Nous avons depuis lancé deux projets visant à traiter sur une puce SNN des signaux provenant de capteurs événementiels, explique Elisa Vianello. Le projet Esperanto concerne un capteur à ultrasons du type Piezoelectric Micromachined Ultrasonic Transducers (PMUT) pour faire de la reconnaissance de gestes, tandis que le projet Largo interprète des nuages de points issus d’un lidar (sorte de radar faisant appel à un laser infrarouge). Son SNN doit comporter 131 000 neurones et 75 millions de synapses, réalisées à l’aide de memristors. La puce devrait être gravée d’ici 2022. » Pas de doute les réseaux de neurones impulsionnels arrivent !

 

NOTES

1. “The Organization of Behavior: a Neuropsychological Theory”, D. Hebb. Wiley, New York, 1949.

2. Benjamin Scellier et Yoshua Bengio, “Equilibrium Propagation: Bridging the Gap between Energy-Based Models and Backpropagation”, Front. Comput. Neurosci., 2017. doi.org/10.3389/fncom.2017.00024

3. Maxence Ernoult et al., “Updates of Equilibrium Prop Match Gradients of Backprop Through Time in an RNN with Static Input”, NeurIPS 2019 Processings. arxiv.org/pdf/1905.13633.pdf

4. Guillaume Bellec et al., “A solution to the learning dilemma for recurrent networks of spiking neurons”, Nat. Commun., 2020). doi.org/10.1038/s41467-020-17236-y

5. Alexandre Valentain et al., Fully integrated spiking neural network with analog neurons and RRAM synapses. In Proc. IEEE International Electron Devices Meeting (IEDM) 2019. doi.org/10.1109/IEDM19573.2019.8993431

 

Pierre Vandeginste
Termes liés :
  • Réseau de neurones
  • Réseaux de neurones récurrents
  • Rétropropagation
  • Intelligence artificielle (IA)
  • Classification
  • Données
Retrouver les autres articles du dossier “Les réseaux de neurones impulsionnels” :
  • Les réseaux de neurones impulsionnels : plus près de la réalité biologique
Tags: #SNN
Share:
Posts you'd might like
Les réseaux de neurones impulsionnels : plus près de la réalité biologique
DAP, la newsletter du Data Analytics Post Recevez chaque semaine un éclairage sur les data science

Peut-on laisser un algorithme apprendre tout seul ?

A la différence de l’apprentissage supervisé, le contexte non supervisé est celui où l’algorithme doit opérer à partir d’exemples non annotés.

En savoir plus

ARTICLES RÉCENTS
  • En attendant l’ordinateur quantique universel…
  • L’IA teste ses premiers algorithmes quantiques
  • Les promesses de l’IA quantique
  • La recherche à l’assaut des deepfakes vocaux
  • Recyclage : nos déchets sous l’œil de l’IA

Tout savoir sur…

Le DAP

Comité Éditorial

Partenaires

Équipe


Copyright © Data Analytics Post. Tous droits réservés.

Mentions légales & CGU