Jean Zay, le supercalculateur qui aime (aussi) l’IA
⏱ 3 minToujours plus gourmande, l’IA a besoin de supercalculateurs. Tout en répondant aux besoins classiques en calcul intensif, l’équipement Jean Zay offre une réponse adaptée aux applications lourdes de l’IA. Il se veut précurseur d’une « convergence » annoncée entre HPC et IA.
La renaissance de l’intelligence artificielle, provoquée notamment par l’émergence de l’apprentissage profond, a induit une explosion des besoins en puissance de calcul adaptée à ce nouveau type de logiciel. La France met des supercalculateurs à la disposition de ses chercheurs, mais ils étaient jusqu’à récemment destinés aux besoins de travaux reposant sur le calcul au sens restreint du terme, et relevant donc du HPC (High Performance Computing, soit « calcul haute performance »).
Depuis 2019, c’est officiel, la communauté scientifique française dispose d’un supercalculateur dédié à ces applications « classiques » mais aussi à celles de l’intelligence artificielle. Car dès son installation à l’Institut du Développement et des Ressources en Informatique Scientifique (IDRIS, qui dépend du CNRS), l’équipement Jean Zay de GENCI (Grand équipement national de calcul intensif), qualifié de « convergé », présentait des caractéristiques répondant aux besoins de ces nouvelles applications de l’IA. Outre ses 1528 nœuds classiques dotés de processeurs Intel, il offrait déjà 261 nœuds comportant en plus chacun quatre cartes GPU nVidia V100. Une carte accélératrice très adaptée à la simulation mais aussi à l’apprentissage machine et surtout profond, dotée de milliers de cœurs arithmétiques et de 640 Tensor Cores conçus pour supporter des réseaux de neurones.
Mais nous sommes en 2021 et Jean Zay a déjà vu sa configuration renforcée deux fois par l’ajout de nouveaux nœuds dédiés en partie à l’intelligence artificielle. Et une nouvelle extension majeure pour l’IA est programmée pour début 2022. « Il s’agit cette fois de 52 nœuds supplémentaires, dotés chacun de huit cartes Nvidia du type A100 », précise Pierre-François Lavallée, directeur de l’IDRIS. Une carte qui surpasse largement la V100, équipée d’une puce de huit centimètres carrés et comprenant 54 milliards de transistors, ce qui la place sur la plus haute marche du podium en la matière.
TOUJOURS PLUS DE NVIDIA POUR L’IA
« Cet équipement doit être livré en janvier 2022. Après installation, sa disponibilité est prévue pour février 2022 », indique Pierre-François Lavallée. La puissance crête (puissance théorique maximale) de Jean Zay, qui était déjà passée de 14 pétaflops lors de son installation en 2019 à 28 Pflops en 2021, devrait atteindre alors les 36 Pflops. Bien sûr, ces chiffres sont seulement indicatifs…
Voilà qui devrait plaire à ces nombreux chercheurs en IA, assoiffés de puissance de calcul adaptée à leurs besoins, et qui piaffent d’impatience. « En deux ans, on est passé de zéro à mille chercheurs intéressés par nos extensions dédiées à l’IA, signale le directeur de l’IDRIS. À l’heure actuelle, on compte environ 750 projets faisant appel à ces moyens spécifiques, et deux nouveaux par jour… Sur les 23 ingénieurs des équipes “support aux utilisateurs” que l’IDRIS met à leur disposition pour les aider à installer et optimiser leurs logiciels sur Jean Zay, dix sont affectés aux applications relevant de l’IA. »
Parmi les premiers « clients » de cette nouvelle extension de Jean Zay, on comptera sûrement les acteurs du projet BigScience, qui a pour objet le développement d’un modèle pour le traitement du langage naturel (NLP) multilingue, inclusif et surtout ouvert. Un réseau de neurones comportant quelque 200 milliards de paramètres, et un concurrent du GPT-3 développé par OpenAI. Lancé au printemps dernier et réunissant plus de 600 partenaires, académiques et industriels, dans le monde, BigScience se présente comme le CERN du NLP.
ALLIER CALCUL INTENSIF ET APPRENTISSAGE
Officiellement supercalculateur pour l’IA, Jean Zay fait mieux que s’équiper de nœuds « accélérés » par les derniers GPU proposés sur le marché. Depuis novembre dernier, il propose l’accès à un coprocesseur photonique pour l’IA développé par la start-up LightOn, que nous avons déjà présentée dans ces colonnes. « Cette extension relève de la veille technologique, précise Pierre-François Lavallée. Le potentiel de cette approche est encore mal cerné et nous permettons ainsi à la communauté des utilisateurs de Jean Zay de la mettre à l’épreuve chacun dans leur domaine. »
Supercalculateur « convergé », adapté aux besoins de travaux relevant de l’IA en plus de ceux, plus classiques, relevant du HPC, Jean Zay veut aussi être la machine destinée à des projets qui nécessitent les deux types de moyens. La « convergence HPC-IA », annoncée par certains observateurs du calcul intensif, serait déjà là, assure le directeur de l’IDRIS. « Cette convergence est déjà perceptible. On voit apparaître des applications HPC classiques, relevant par exemple de la simulation numérique, qui font appel également à l’IA en des points stratégiques. Ils permettent par exemple de remplacer des parties de calcul intensif, goulet d’étranglement de la simulation, par des modèles appris utilisant une précision dégradée, bien plus performants. Cela peut dans certains cas faire gagner des facteurs d’accélération de trois ou quatre ordres de grandeur. »
HPC et IA sont en coloc. Et plus, si affinités. Affaire à suivre…
Pierre vandeginste
Image en une : © Cyril FRESILLON / IDRIS / CNRS Photothèque
