Le défi HyAIAI de l’Inria pour une IA hybride interprétable

⏱ 4 min

Les prouesses des réseaux de neurones et autres modèles numériques ne peuvent faire oublier leur opacité. Le « défi » HyAIAI de l’Inria vise à les rendre « interprétables » en les hybridant avec une IA symbolique.

Au cours de la dernière décennie, l’apprentissage artificiel a obtenu des résultats spectaculaires. Mais une ombre est apparue au tableau : les plus belles prouesses sont le fait de modèles dits « numériques », notamment des réseaux de neurones, accusés d’être de véritables « boîtes noires ». Leur opacité est fâcheuse quand il s’agit d’accorder un prêt, d’établir un diagnostic, de piloter un processus industriel ou d’assister un pilote de chasse. C’est pourquoi la communauté scientifique corrige le tir et se mobilise pour aller vers une IA plus « interprétable », voire « explicable ». En France, l’Inria a lancé le « défi » HyAIAI.

HyAIAI signifie « Hybrid Approaches for Interpretable AI ». C’est en hybridant IA numérique et IA symbolique qu’il s’agit d’obtenir une IA interprétable. HyAIAI n’est pas une nouvelle équipe-projet, mais un « défi Inria », porté par six équipes existantes et financé sur trois ans, de septembre 2019 à septembre 2022. Sont impliquées les équipes Lacodam (Inria Rennes), Magnet (Lille), Multispeech et Orpailleur (Nancy), Scool (Lille) et TAU (Saclay). HyAIAI est pilotée par Élisa Fromont, professeure à l’université Rennes-I et chercheuse à l’Irisa dans l’équipe Inria Lacodam (LArge scale COllaborative DAta Mining).

Un modèle symbolique qui mime un modèle numérique

« Les modèles numériques ne sont tout simplement pas lisibles », explique Élisa Fromont. Pour rendre ces « boîtes noires » interprétables, l’idée est de placer entre elles et l’utilisateur une interface reposant sur l’IA symbolique. Des pistes ont déjà été explorées. « Partant d’un modèle numérique qui a appris sur un jeu de données, ajoute la chercheuse, on a par exemple proposé des méthodes pour construire une IA symbolique, typiquement un arbre de décision, qui se comporte presque comme lui, tout en étant plus intelligible. »

« Certaines approches relèvent de la rétro-ingénierie, ajoute Luis Galárraga, également chercheur Inria de l’équipe Lacodam. Dans le cas d’un modèle de vision artificielle reposant sur un réseau de neurones, on peut lui soumettre des images puis les modifier petit à petit pour déterminer quelles caractéristiques pèsent dans la décision. »

Un modèle numérique qui intègre des connaissances

Élisa Fromont subdivise le défi de HyAIAI en quatre challenges. « La première question que nous nous posons est : comment contraindre un système à faire ce que l’utilisateur attend de lui ? On aimerait savoir, par exemple, l’obliger à respecter la vie privée. » Les modèles numériques apprennent à partir d’exemples et peuvent passer à côté de choses que nous savons déjà, mais qu’ils ne découvriront jamais. Dommage… « Nous cherchons à développer des méthodes pour imposer au modèle numérique des connaissances déjà acquises. Comme dans certaines applications des connaissances scientifiques, par exemple en physique, ou en chimie. » L’idée est d’obtenir un modèle numérique intégrant des connaissances, qui apprend « sous contraintes ». On parle de modèles « neuro-symboliques ».

« Notre second challenge est l’explicabilité, poursuit Élisa Fromont. C’est-à-dire, au-delà de l’interprétabilité des modèles, la capacité de formuler une explication compréhensible par un humain. Cette thématique concerne surtout les équipes Locadam et Scool. » C’est une chose qu’un modèle soit interprétable, comme l’est par exemple un arbre de décision composé de nœuds du type « Si la température est supérieure à 40° C, alors… sinon… ». Mais c’en est une autre qu’il soit capable d’expliquer simplement son diagnostic.

Signaler à l’utilisateur les résultats suspects

« Un troisième angle d’attaque est la question du débogage, indique encore Élisa Fromont. Une piste consiste à utiliser des méthodes symboliques, comme la fouille de données, pour voir si certaines choses ont été mal apprises par un modèle numérique. Si des « zones suspectes » ont été repérées dans le modèle, il est alors possible de prévenir l’utilisateur quand elles sont activées, de lui signaler que les résultats sont suspects. »

« Enfin, notre quatrième axe de recherche sera la causalité, conclut la coordinatrice du défi HyAIAI. Les modèles numériques sont très efficaces pour détecter des corrélations. Il est facile de remarquer, par exemple, que lorsque j’ouvre mon parapluie, il pleut. Mais déterminer une relation de cause à effet est une autre histoire. Cette thématique ambitieuse intéresse surtout l’équipe TAU. »

Les trois axes de l’interprétabilité

Les voies de l’interprétabilité sont multiples. « On distingue trois axes selon lesquels se partagent les modalités d’interprétabilité, explique Luis Galárraga, de l’équipe Lacodam. Un premier axe sépare l’interprétabilité intrinsèque de l’interprétabilité « post hoc« . La première résulte du choix du type de modèle employé. Ainsi, dans une application comme la détection de spam, par exemple, le recours à un arbre de décision permet d’obtenir directement un modèle facilement interprétable. À l’inverse, on parle d’interprétabilité « post hoc » quand on rend interprétable a posteriori un modèle opaque, comme un réseau de neurones. »

« Les approches de l’interprétabilité se divisent encore selon un second axe, poursuit le chercheur. Veut-on être capable d’interpréter la réaction du modèle dans un cas particulier, comprendre ce qui a mené à une certaine réponse ? On parle alors d’interprétabilité locale. Ou bien veut-on comprendre le fonctionnement du modèle dans son ensemble : c’est l’interprétabilité globale. Il est plus facile d’obtenir une interprétabilité locale performante. Enfin, on distingue les approches de l’interprétabilité selon un troisième axe : certaines sont dites spécifiques parce qu’elles ne sont applicables qu’à un certain type de modèles, tandis que d’autres sont « agnostiques », car elles sont applicables à n’importe quel type de modèle. »

Une réponse en une phrase

« HyAIAI est un défi au plein sens du terme, estime Philippe Preux, professeur à l’université de Lille et chercheur au Centre de recherche en informatique, signal et automatique de Lille (CRIStAL), responsable de l’équipe Scool, également impliquée dans HyAIAI. L’état de l’art est proche de zéro, presque tout reste à faire. » Mais on sait tout de même, par exemple, mimer le comportement d’une boîte noire à l’aide d’un arbre de décision. « Bien sûr, mais c’est une approche dont l’intérêt est très limité, affirme le chercheur. Certes, un arbre de décision est en principe plus lisible qu’un réseau de neurones, mais dans la pratique il peut être si volumineux que son interprétation devient très difficile, voir impossible. Quand on parle d’explicabilité, ce que l’on espère, c’est pouvoir demander « pourquoi ? » et obtenir une réponse simple et claire, en une phrase… ». 

 

Pierre Vandeginste