logo fullscreen logo
  • Dossier
    • Quand l’IA nous regarde…
    • Du vivant au modèle
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
logo fullscreen logo
  • Dossier
    • Quand l’IA nous regarde…
    • Du vivant au modèle
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
Menu
mobile logo
  • Dossier
    • Quand l’IA nous regarde…
    • Du vivant au modèle
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
28 juin 2018
A la Une, DAP, Dossiers thématiques, Green IA, News

Des processeurs de deep learning, toujours plus économes

⏱ 6 min

L’apprentissage profond (deep learning) du fait de son utilisation de plus en plus importante, a considérablement accru les préoccupations énergétiques des datacenters. Des processeurs spécifiques ont été développés, adaptés aux différentes phases de calcul de ces algorithmes. Plusieurs autres pistes sont à l’étude comme des puces neuromorphiques ou des puces optiques. Plongée dans les GPU, TPU, FPU et autres OPU !

Les datacenters, notamment ceux utilisés pour la simulation numérique (ou HPC, voir l’article « Ce qu’il reste à gagner côté datacenters » de notre dossier), facturent désormais les calculs au Wattheure, selon la consommation électrique. Google a été un des premiers à prendre conscience qu’il fallait équiper ses serveurs de nouveaux processeurs adaptés au deep learning, à base de réseaux de neurones profonds. Rien que pour la reconnaissance vocale, la firme américaine avait anticipé qu’il lui faudrait sinon doubler le nombre de ses serveurs. Les « accélérateurs de calcul » que Google a mis au point en 2015, les TPU (Tensor Processing Unit) dont la seconde génération, les Cloud TPU, a été dévoilée en 2017, sont plus rapides que les processeurs graphiques GPU (Graphical Processing Unit) et les puces de calcul CPU (Central Processing Unit) contemporains et consomment moins. « Un module de 64 TPU de seconde génération peut traiter jusqu’à 11,5 Petaflops 1015  soit 10 millions de milliards d’opérations en virgule flottante par seconde, la virgule flottante étant une méthode d’écriture de nombres réels. pour entraîner les modèles d’apprentissage automatique » écrivent des experts de Google.

« Aujourd’hui, Google, Facebook, Baidu ou encore Fujitsu avec ses DLU (Deep Learning Unit) développent ou projettent de développer de tels processeurs spécialisés pour le deep learning », ajoute Marc Duranton, chercheur au CEA, spécialiste du deep learning. Aucune de ces entreprises n’était pourtant dans le hardware. Mais pour promouvoir les applications de reconnaissance d’images, d’objets ou vocale, elles n’ont pas hésité à financer ces design spécifiques. « Ces puces spécialisés ont désormais quitté le domaine de la recherche pour celui de l’ingénierie », fait même remarquer le chercheur. Dans l’évolution matérielle des 20 dernières années, elles ont pris la suite des premier accélérateurs, les FPU (Floating-Point Unit) pour le calcul en virgule flottante, intégrés maintenant dans les cœurs des processeurs, puis des architectures multicoeurs,  qui ont largement augmenté les puissances de calcul mais sont très généralistes, et des GPU, particulièrement adaptés pour du calcul massivement parallèle.

Les GPU, clés du développement de l’IA

Avant de balayer les nombreuses pistes actuellement à l’étude, voyons quels sont les besoins de l’apprentissage profond. Il faut distinguer les deux phases de calcul : d’abord la phase d’apprentissage au cours de laquelle un algorithme cherche l’ensemble des paramètres du modèle (les poids synaptiques des couches de neurones). Puis la phase d’inférence où il s’agit d’effectuer la tâche pour laquelle le modèle a été entraîné lors de la phase d’apprentissage. « L’apprentissage comporte un très grand nombre de calculs (des exaflops ou milliards de milliards d’opérations par seconde en virgule flottante), précise Marc Duranton. Ce sont essentiellement des multiplications de matrices mais qui ne nécessitent pas une grande précision. Un codage virgule flottante en 16 bits peut suffire – les processeurs  actuels codent les flottants en 32 bits ou plus, ceux du HPC en 64 voire 128 bits. »

C’est dans ce contexte que les GPU se sont révélées adaptées, tant en termes de puissance de calcul que de volume de données à traiter. Un GPU contient des milliers d’unités de calcul contre une dizaine pour un CPU. De quoi accélérer la vitesse d’apprentissage. D’autant plus que Nvidia, principal fabricant de GPU, a « coupé » ses puces de dernière génération en 2 ou 4 pour faire les calculs encore plus rapidement sur seulement 16 bits. Les technologies comme Tensorflow, PyTorch ou Theano ont émergé de l’utilisation industrielle de ces GPU. Mais même si les GPU utilisées pour le calcul s’avèrent plus économes énergétiquement que les CPU, leur impact environnemental reste peu étudié. Et elles s’avèrent très consommatrices d’énergie.

« Dans la phase d’inférence, on peut faire les calculs sur des entiers,poursuit le chercheur. Un calcul sur 8 ou 16 bits suffit. Cela peut se faire aussi sur des circuits optimisés. » C’est ce que réalisent les premiers TPU. D’après les estimations de Google, leur TPU produit plus de 100 Gflops (milliards d’opérations par seconde en virgule flottante) en 16 bits par watt consommé, ce qui reste malgré tout important en termes de consommation électrique pour des systèmes comportant un grand nombre de circuits.

Les FPGA : un bon compromis pour le futur

Par ailleurs, n’oublions pas que la consommation des processeurs est avant tout due au transfert de données de la mémoire centrale aux mémoires cache successives jusqu’au registre de l’unité de calcul : Nvidia estime que cela consomme 100 fois plus d’énergie que de faire les opérations. « Beaucoup de recherches portent sur des architectures permettant de minimiser ces transferts en faisant les calculs directement dans les mémoires, ce qui est tout particulièrement adapté aux réseaux de neurones pour le calcul des poids synaptiques », explique Marc Duranton.

Parmi les solutions en développement pour l’apprentissage profond, les FPGA (Field-Programmable Gate Array) commencent à être installés notamment par Microsoft et Amazon. « Ces puces reprogrammables sont des solutions intermédiaires entre les systèmes programmables comme les CPU et les puces spécialisées (ASIC), précise-t-il. Elles offrent un bon compromis en termes de flexibilité et de performances. » Un FPGA peut être configuré pour faire un multiplieur ou un chemin de données spécialisé. Il est typiquement 10 fois plus efficace d’un point de vue énergétique qu’un processeur programmable pour une tâche particulière (l’ASIC étant encore 10 fois plus performant).

Le regain d’intérêt pour les FPGA date de 2010 quand Microsoft a étudié le potentiel de ces composants pour accélérer l’indexation de son moteur de recherche, Bing. Une démarche comparable à celle de Google avec ses TPU. Amazon installe progressivement ces ressources dans les serveurs de ses datacenters notamment pour permettre à ses clients d’installer leurs propres réseaux de neurones sur cette architecture, comme une nouvelle couche de services orientée vers l’IA, le ratio entre FPGA et CPU étant choisi en fonction des applications. « Les FPGA sont très efficaces pour des manipulations de bits comme en cryptographie ou pour du tri, ajoute Marc Duranton. Ils sont plus complexes à programmer que les processeurs standards mais un informaticien peut désormais le faire par exemple en langage C grâce à des outils qui traduisent le programme en configuration pour le FPGA. »

En attendant des neurones artificiels électroniques

Deux autres voies de recherche ont le vent en poupe, basées sur un codage qui ne serait plus en nombres entiers ou flottants : les puces neuromorphiques et de nouveaux paradigmes de calcul. Dans le premier cas, le codage est en impulsions (on parle aussi de neurones impulsionnels), dans le second, il est associé à des phénomènes physiques comme l’optique.

De nombreux laboratoires et les géants de l’électronique (IBM, Intel, Qualcomm…) misent sur les puces neuromorphiques qui transposent l’information en temps ou en fréquence. L’engouement pour ces assemblages de composants artificiels mimant neurones et synapses biologiques est essentiellement guidé par l’efficacité énergétique. Ces « neurones électroniques » (en dur cette fois) ont trois avantages majeurs sur les neurones artificiels actuellement utilisé en IA, qui, rappelons-le, sont des fonctions mathématiques (on parle aussi de neurones formels). Primo, calcul et mémoire sont à proximité, ce qui limite les échanges de données. Secundo, ils peuvent effectuer des calculs moins précis que les processeurs mais plus efficaces du point de vue énergétique, en utilisant un faible nombre de bits. Cela permet aussi de faire du codage parcimonieux avec un taux d’informations limité. Tertio, ils permettent des calculs analogiques qui utilisent souvent la physique, et sont bien donc plus « denses » que les calculs avec une unité arithmétique et une logique numérique.

La puce neuromorphique la plus connue est celle d’IBM, TrueNorth, qui a une performance de 46 GSOPS/W (Giga-Synaptic Operation Per Second per Watt) pour l’exécution de réseaux neuronaux. L’apprentissage en ligne avec ces technologies constitue encore un défi de taille. Tout comme le passage à l’échelle avec des circuits comportant des milliers de composants, cela malgré la multitude de matériaux proposés. « Le CEA est maître d’œuvre d’un projet européen d’envergure lancé en 2016 sur le sujet pour 3 ans, ajoute Marc Duranton. Baptisé NeuRAM3, il réunit de nombreux partenaires comme IBM, l’IMEC, l’Université de Zurich ou STMicroelectronics. Notre objectif est de diminuer d’un facteur 50 la consommation énergétique d’applications ciblées par rapport aux puces traditionnelles. » On peut aussi tirer parti de phénomènes biologiques bien connus comme la transmission du signal au niveau des synapses (par STDP ou Spike-Timing-Depend Plasticity) pour faire les calculs de la phase d’apprentissage. « Cela permet de faire des circuits très denses, reconnait-il.Mais, pour l’instant, cette solution ne fonctionne bien que pour les algorithmes non supervisés. »

C’est un peu le même problème pour les puces optiques (ou OPU pour Optical Processing Unit), où les photons remplacent les électrons, de façon particulièrement efficace avec des dispositifs assez simples :« ces puces ne sont néanmoins pas directement adaptées aux algos standards de deep learning développés pour les GPU, précise Marc Duranton. Mais elles peuvent être efficacement utilisées pour d’autres algos de machine learning. » Des start-up misent sur ces solutions comme LightOn qui affiche des économies d’énergie d’un facteur 30 par rapport aux GPU. En février dernier, LightOn a intégré sa solution d’OPU dans un datacenter d’OVH et affirme dans son communiqué de presse : « Lors de l’exécution d’une tâche de type « Transfer Learning », le temps de calcul, qui était de 20 minutes pour un algorithme de l’état de l’art fonctionnant sur un processeur graphique (GPU) du marché, passe maintenant à environ 3,5 minutes avec l’OPU ». Toutes ces solutions sont prometteuses mais la meilleure pour économiser ressources minérales et énergétiques reste d’éviter les calculs inutiles !

Isabelle Bellin

 

 

Vous avez aimé cet article, abonnez-vous à notre newsletter bi-mensuelle gratuite pour être informé des dernières publications. 

 

 

Termes liés :
  • Deep learning
  • Algorithme
  • Réseau de neurones profonds
  • Machine learning
  • Données
  • Réseau de neurones
  • Intelligence artificielle (IA)
  • Apprentissage non supervisé
  • Transfer Learning
Retrouver les autres articles du dossier “Green IA” :
  • L’impact énergétique du numérique
  • Ce qu’il reste à gagner côté datacenters
  • Une programmation économe
Share:
Posts you'd might like
La reconnaissance des expressions faciales
Les réseaux de neurones impulsionnels : une sobriété énergétique extrême
Les réseaux de neurones impulsionnels : plus près de la réalité biologique
Les multiples voies de l’apprentissage frugal
BERT, GPT-3, Switch-C… Le Transformer à l’assaut du langage naturel
Jacques van Helden : Chef d’orchestre des big data en biologie
DAP, la newsletter du Data Analytics Post Recevez chaque semaine un éclairage sur les data science

Peut-on laisser un algorithme apprendre tout seul ?

A la différence de l’apprentissage supervisé, le contexte non supervisé est celui où l’algorithme doit opérer à partir d’exemples non annotés.

En savoir plus

ARTICLES RÉCENTS
  • La reconnaissance des expressions faciales
  • Les réseaux de neurones impulsionnels : une sobriété énergétique extrême
  • Les réseaux de neurones impulsionnels : plus près de la réalité biologique
  • Les multiples voies de l’apprentissage frugal
  • BERT, GPT-3, Switch-C… Le Transformer à l’assaut du langage naturel

Tout savoir sur…

Le DAP

Comité Éditorial

Partenaires

Équipe


Copyright © Data Analytics Post. Tous droits réservés.

Mentions légales & CGU