L’explicabilité des algos : une affaire de compromis
⏱ 6 minL’explicabilité des algorithmes est un nouveau challenge pour les data scientists. Un pan de recherche à part entière. Pourquoi maintenant ? A cause de l’opacité de certaines méthodes de machine learning et de l’utilisation croissante d’algos pour des décisions personnalisées ou pour des applications critiques. Comment gagner en explicabilité sans perdre en performance ?
Les algorithmes prennent de plus en plus de décisions à notre place, sans que cela ne nous préoccupe forcément d’ailleurs. Qui exige de comprendre comment fonctionnent Siri, Cortana ou Jam, ces célèbres assistants vocaux ? Du moment qu’ils apportent les bonnes réponses à nos questions. Il en va tout autrement d’un algo en justice ou en médecine où il est légitime de pouvoir comprendre une décision personnalisée, même si l’on pouvait prouver statistiquement que la décision de l’algo est meilleure que celle d’un médecin. Même besoin de transparence pour l’octroi d’un crédit ou d’une place à l’université – la Loi de 2016 pour une République numérique prévoit un droit d’explication concernant des décisions individuelles prises par une administration (voir notre article) – ou encore dans l’industrie, notamment les transports ou l’énergie, pour des questions de sûreté et de sécurité, avoir la certitude d’être plus efficace ou plus économe.
Une question de priorité ?
En fait, cette problématique d’explicabilité est récente. Elle est presque inhérente au succès des algorithmes d’apprentissage profond, le deep learning (une branche du machine learning) et ses fameux réseaux de neurones multicouches, de nouveau sur le devant de la scène depuis une dizaine d’années. « Tout simplement parce que ces algos ont été développés avec pour unique objectif d’être efficaces et autonomes dans le cas de problèmes types très spécifiques comme le classement d’images, explique Aurélien Garivier, chercheur à l’Institut mathématiques de Toulouse (Université Paul-Sabatier). Ces développements ont énormément fait progresser la discipline avec des résultats parfois spectaculaires. Mais la mise en place de l’architecture et l’optimisation des réseaux de neurones sont une science quasi expérimentale. Les premières couches détectent des concepts de bas niveau comme des coins, des lignes dans une image et on suppose que, progressivement, les couches suivantes détectent des concepts de plus haut niveau mais on n’a aucun contrôle sur la construction de ces concepts. Aucune maitrise du risque non plus, par exemple si on utilise l’algo en dehors des conditions d’entrainement, sur de nouvelles données. »
Autrement dit, par essence, ces algorithmes d’une efficacité souvent inégalée sont opaques. Outre les déconvenues dues au fait que le deep learning ne résout pas tout (voir notre article), on reproche de plus en plus à ces méthodes cet effet « boite noire ». Dès lors, serait-ce une question de priorité ? Efficacité versus explicabilité… « Lorsque l’application n’est pas critique et qu’il faut prendre des milliers de décisions par seconde, l’efficacité de l’algo prime sur l’interprétabilité », reconnait Aurélien Garivier. C’est le cas des algos de marketing en ligne, de reconnaissance vocale ou de résolution de jeux de go.
Approches statistiques ou connexionnistes
Le vent tournerait-il ? « Beaucoup de clients font appel à nous après avoir testé des modèles de type réseau de neurones dont ils regrettent de ne pouvoir comprendre les prédictions, note Caroline Chopinaud, cofondatrice de craft AI, une startup fondée en 2015 qui développe une technologie de machine learning explicable et automatisée, proposée en mode « IA en tant que service » (AIaaS en anglais). Nos clients sont des acteurs de l’énergie, des utilities, du e-commerce, de la banque, ou plus généralement de l’IoTInternet of Things (Internet des objets)… qui cherchent à tirer parti de leurs données pour proposer des services à forte valeur ajoutée à leurs clients ou leurs collaborateurs. » De fait, l’IA ne manque pas de méthodes explicables, à commencer par les méthodes d’apprentissage statistique, à base de probabilités comme les arbres de décision, qui rivalisent depuis longtemps avec les techniques connexionnistes comme les réseaux de neurones.
« Il faut reconnaitre qu’en termes d’approche, le deep learning est à l’opposé de ces techniques, rappelle Aurélien Garivier. Cela vient du fait que les méthodes statistiques sont construites structurellement pour maîtriser le risque, en faisant la part du signal à détecter et du bruit qui ne correspond à aucun phénomène réel. A contrario, personne ne comprend comment les algorithmes de deep learning font la part des choses, d’ailleurs ils peuvent être trompés de façon spectaculaire par des bruits générés pour nuire. »
Cela dit, l’explicabilité n’a pas le même sens pour un citoyen lambda qui souhaite comprendre la logique générale de fonctionnement de l’algo (au sens de l’intelligibilité), un utilisateur industriel qui veut comprendre les réponses en fonction de son expérience métier et un data scientist à même de comprendre le fonctionnement de l’algo. Même les chercheurs distinguent deux notions : l’explicabilité et l’interprétabilité. Un algo est « interprétable » lorsqu’on comprend précisément son fonctionnement, à l’instar d’un arbre de décision (pour conseiller un médecin dans l’opération ou non d’une tumeur selon sa taille, l’âge du patient, son poids, etc.). Notion plus « faible », « l’explicabilité » d’un algo suppose seulement de comprendre quels sont les éléments qui motivent la décision sans forcément comprendre tout le mécanisme de sa construction. Par exemple, d’identifier les pixels qui motivent le résultat pour un réseau de neurones dans un problème de reconnaissance d’images.
Fournir une mesure de confiance
Comment améliorer l’explicabilité des algos sans nuire à leur efficacité ? La réponse dépend d’abord de la quantité de données. Tous les problèmes ne sont pas big data. Ainsi craft AI, centré sur l’apprentissage de comportements, habitudes ou processus au niveau individuel, avec assez peu de données disponibles par entité, privilégie les approches d’apprentissage statistique générant des modèles prédictifs explicables. « Le cœur de notre technologie est fondé sur des méthodes de classification et de régression à base d’arbres de décisions, précise Caroline Chopinaud. Dans notre APIApplication Programming Interface ou Interface de programmation, craft ai, grâce à un travail continu de R&D, nous proposons une technologie de machine learning qui vise à allier performance et explicabilité, utilisable par des non-experts en IA et en data science. Le développeur du système d’IA peut ainsi, d’une part contrôler les décisions prises et d’autre part, remonter les raisons d’une prédiction à l’utilisateur final. Ce point est primordial pour l’acceptabilité d’un système d’IA. »
Par exemple, craft ai est utilisé dans un système de détection automatique de dérives de consommation énergétique. Il génère des modèles prédictifs de consommation pour chacune des installations à analyser. Ces modèles se fondent sur des mesures brutes de consommation mais aussi sur des indicateurs métiers qui permettent de rendre compréhensibles les prédictions. De surcroit, les modèles remontent des indices de confiance (un %) sur la qualité des prédictions, principalement en fonction de la récurrence des cas appris. Et les modèles s’améliorent au fur et à mesure avec les nouvelles données et les feedbacks des utilisateurs. « De manière générale, l’idée d’une mesure de confiance du système dans sa propre décision est une notion clé, fait remarquer Aurélien Garivier. Cela pourrait ouvrir la voie à des systèmes capables de dire parfois « je ne sais pas » et de rendre la main à l’utilisateur. » A minima, dans la plupart des applications, l’idéal serait de pouvoir fournir un indice de risque.
L’industrie reste prudente
Que faire avec du big data, cas de beaucoup de problèmes industriels ? Il faut reconnaitre qu’alors, les solutions de machine learning les plus efficaces sont actuellement souvent à base de réseaux de neurones. Sauf qu’en pratique, dans l’industrie, prudence oblige, l’explicabilité reste la règle. « Dès que l’on parle de mise en production, les ingénieurs veulent comprendre comment fonctionne le modèle », confirme Benoit Robillard, un des responsables du département Recherche opérationnelle et data science d’Air France-KLM. Pourtant, comme d’autres industriels, Air France-KLM expérimente aussi des algorithmes de moins en moins explicables. « C’est un processus lent mais je suis convaincu qu’il faut se libérer de l’explicabilité lorsque le gain est significatif, ajoute-t-il. Ce sera sûrement le cas dans 5 à 10 ans, pas forcément avec les réseaux de neurones d’ailleurs. » Pour l’instant, ses équipes utilisent des algorithmes explicables, à l’instar des arbres de décisions pour faire de la maintenance prédictive, autrement dit pour détecter des pannes avant qu’elles ne se produisent. Ces méthodes sont déjà effectives pour plusieurs équipements (pompes à carburants des avions, trains d’atterrissage, systèmes de refroidissement, etc.).
« Depuis l’an dernier, nous utilisons des méthodes automatiques de sélection des critères de décision les plus plausibles, lesquels sont ensuite analysés pour n’en retenir que les meilleurs, explique Benoît Robillard. C’est donc une approche reposant davantage sur la capacité à tirer profit des données, mais toujours explicable. Et nous avons pu vérifier que nous gagnons en efficacité, notamment dans le cadre du développement de nouveaux équipements. Autre constat fondamental pour nous : tous les équipements identifiés méritaient bien une intervention. » Pourquoi pas un jour des modèles à base de réseau de neurones, suggère l’ingénieur ? A condition que l’opacité de ces modèles soit compensée par des performances accrues et des économies significatives.
Les chercheurs cherchent
Deux voies de recherche sont étudiées pour améliorer l’explicabilité : inférer des règles explicables de plus en plus complexes jusqu’à la limite de l’inexplicable ou simplifier les réseaux de neurones jusqu’à un semblant d’interprétabilité, au détriment de leur performance. « Du point de vue théorique, on ne sait pas ce qu’on perd à exiger de l’explicabilité, reconnait Aurélien Garivier. On n’est tout simplement pas sûr de parvenir à expliquer, à maîtriser, au sens propre, le fonctionnement de réseaux de neurones. Certains tentent de le faire via des approches statistiques. Mais c’est contrintuitif. Les approches statistiques évitent à tout prix le surapprentissage (le fait que des coefficients du modèle dépendent trop du jeu de données), sauf que les réseaux de neurones ne surapprennent pas alors qu’ils comportent des quantités phénoménales de paramètres. » D’autres chercheurs comme ceux d’Another Brain, fondée en février 2017 par Bruno Maisonnier, fondateur d’Aldebaran et de ses célèbres robots Peper et Nao, misent sur une toute autre approche, inédite : des puces inspirées du fonctionnement du cortex cérébral, contrôlables mais capables d’apprendre sans supervision humaine et dont les décisions seraient explicables. A suivre.
Isabelle Bellin
