Le Laboratoire national de métrologie et d’essais, pionnier de la certification IA
⏱ 4 minLe Laboratoire national de métrologie et d’essais (LNE), précurseur dans l’évaluation des performances des intelligences artificielles, a créé il y a un an la première certification au monde en IA. En quoi consistent ces évaluations ? Et à quoi servent-elles ?
Transparence, confiance, équité, explicabilité, acceptabilité… autant d’objectifs pour l’IA qui deviennent cruciaux lorsqu’elle intervient au plus près de notre vie comme dans les assistants personnels, les dispositifs médicaux, les robots d’assistance à la personne ou les véhicules autonomes. Les garantir était une gageure il y a peu. Des solutions d’évaluation et désormais de certification existent. Aucune contrainte réglementaire spécifique à l’IA n’est à ce jour en vigueur, mais ces garanties offrent aux utilisateurs des éléments de comparaison objectifs et permettent aux développeurs de montrer qu’ils respectent les bonnes pratiques. En 2025, quand le règlement européen sur l’intelligence artificielle entrera en vigueur, toutes les IA dites « à haut risque » comme les véhicules autonomes ou les dispositifs médicaux, devront alors démontrer leur conformité pour avoir une autorisation de mise sur le marché (le fameux « marquage CE »).
Le LNE, qui est la référence pour l’industrie en matière de métrologie et d’essais, propose depuis plusieurs années des mesures de performances des applications de l’IA. « Nous en avons évalué plus de mille : des systèmes de traitement automatique de la langue, des algorithmes de vision, de reconnaissance d’objets… », précise Guillaume Avrin, responsable du département Évaluation de l’intelligence artificielle au LNE. Ces essais 100 % numériques, réalisés à l’aide de bases de données, sont menés sur les plateformes du Laboratoire d’évaluation de l’intelligence artificielle (LEIA). Ils délivrent une mesure absolue de performance. Cela permet aux développeurs d’IA d’orienter leurs efforts de recherche et développement et de se positionner par rapport à la concurrence.
Un environnement test pour immerger certains dispositifs
« Début 2023, nous proposerons un nouvel outil d’évaluation au LEIA, ajoute-t-il, pour certains systèmes comme les robots d’aide à la personne, les robots d’intervention civils et militaires ou encore les caméras intelligentes (qui interprètent les images captées, ndlr). Un environnement de test dans lequel le système à tester sera physiquement immergé dans un environnement virtuel. Dans cette plateforme de six mètres de diamètre sur trois de hauteur, un système de vidéoprojection à 360° nous permettra de générer de multiples scénarios d’environnements (intérieur d’un appartement, route…) et d’ambiances (conditions météorologiques et sonores, luminosité…). » L’objectif est de multiplier les essais, à moindre coût, là encore pour évaluer les performances de l’IA. Cette plateforme sera unique en Europe.
Ce n’est pas tout. Le LEIA collabore avec son homologue américain le NIST (National Institute of Standards and Technology), soit la plus grosse équipe au monde en évaluation d’IA. Leur objectif étant de proposer d’ici un an ou deux ce même type d’essais dans des environnements réels, le laboratoire américain disposant déjà d’un certain nombre de plateformes d’essais. « Les essais en environnement physique étant plus onéreux, la priorité sera donnée aux IA à haut risque, précise Guillaume Avrin. Nous ne testerons ainsi que quelques scénarios, les plus critiques. » À l’inverse, pour tester certaines IA de façon aussi exhaustive que possible, le LNE proposera des essais 100 % numériques où tant le robot que son environnement seront simulés. Cette évaluation sera bien sûr moins réaliste mais aussi moins coûteuse.
Une certification volontaire proposée dès juin 2021
L’intérêt de ces différents dispositifs consiste à ce que l’évaluation de l’IA soit assurée par un tiers au lieu d’être menée, comme c’est généralement le cas, par les développeurs eux-mêmes. De la même façon, dans le cadre de la future réglementation européenne, l’évaluation de conformité devrait pouvoir reposer sur une auto-déclaration pour de nombreuses applications. Néanmoins, certaines IA, comme cela a été évoqué plus haut, devront être certifiées par un « organisme notifié » (tierce partie habilitée par un État membre de l’UE à déterminer si un produit respecte certaines normes) comme le LNE.
« Nous avons anticipé cette obligation en proposant depuis juin 2021 une certification volontaire mise au point avec un groupe de travail réunissant quinze partenaires : grands groupes, PME, cabinets de conseil, clusters d’entreprises et instituts de recherche, se félicite Guillaume Avrin. Nous avons privilégié la certification des processus transverses aux différents domaines d’applications des IA selon une démarche assez comparable aux audits de qualité : nous évaluons les processus de conception, de développement, d’évaluation ainsi que de maintien en conditions opérationnelles et nous nous sommes focalisés sur les IA par apprentissage automatique, les plus courantes aujourd’hui. »
Pourquoi ne pas certifier systématiquement chaque produit d’IA ? Pour des raisons de coût : l’organisme certificateur devrait disposer de bases de données de tests pour toutes les applications et toutes les modalités d’utilisation. « Or plus de 80 % des exigences du futur règlement européen concerne les processus, précise Guillaume Avrin. Pour la plupart des applications, notre certification fournit un premier niveau de garantie suffisant. » Quid des 20 % restants ? Quand le règlement européen sera opérationnel, pour finaliser leur demande de conformité, les entreprises devront néanmoins passer par un laboratoire d’essais comme le LNE ou un autre acteur. Une certification spécifique sera nécessaire via des organismes notifiés pour chaque État membre pour certaines applications critiques comme les moyens de transport autonomes ou l’identification biométrique à distance. Pour cette dernière, le LNE est candidat (il est déjà l’organisme notifié pour la France via sa filiale, le GMED, pour les dispositifs médicaux).
Le cabinet de conseil axionable, première entreprise certifiée IA
Comment se passe la certification volontaire par le LNE ? L’entreprise est auditée par des experts du LNE : un responsable qualité et un expert IA. Le processus, qui dure entre un à deux mois dont un audit sur site de cinq à dix jours, consiste à vérifier grâce à une analyse documentaire que pour chacune des exigences, les processus sont bien documentés, bien échantillonnés et que les bases de données d’apprentissage et de test sont représentatives. La première entreprise certifiée IA est le cabinet de conseil en IA Axionable. « Le LNE nous avait sollicité pour participer au groupe de travail, précise Gwendal Bihan, président d’Axionable. Cette certification étant en droite ligne avec notre cœur de métier qui consiste à aider les entreprises à créer des IA durables et responsables, nous avons d’emblée choisi de nous y soumettre. Depuis, nous avons même créé une offre de services pour aider les entreprises à s’y préparer. »
« Plusieurs entreprises préparent leur audit, confirme Guillaume Avrin. Notre certification est amenée à évoluer par exemple pour y intégrer la supervision humaine ou l’IA symbolique. À l’avenir, d’autres organismes européens pourraient opérer notre référentiel de certification. Ou encore développer le leur, mais cela risquerait de créer une certaine confusion », prévient-il.
Isabelle Bellin
Image en une : Robot humanoïde testé dans la plateforme du LEIA. Crédit : LNE
