Jean-Rémi King : « Les modèles de langage imitent (un peu) le fonctionnement du cerveau »
⏱ 4 minChercheur à l’ENS détaché à Meta AI, Jean-Rémi King cherche à déterminer dans quelle mesure les modèles de langage fonctionnent d’une manière se rapprochant du traitement effectué par notre système nerveux.
Jean-Rémi King est un neuroscientifique, un « cognitiviste ». Il cherche à comprendre comment le cerveau humain produit et manipule les représentations mentales qui lui permettent de modéliser le monde réel. Après avoir soutenu en janvier 2014 une thèse de doctorat en neurosciences cognitives, sous la direction du neurobiologiste Stanislas Dehaene (professeur au Collège de France), il effectue un post-doc au département de psychologie de la New York University. De retour en France, il devient chercheur au Laboratoire des Systèmes Perceptifs, au sein du département d’études cognitives de l’ENS-PSL (École normale supérieure – université Paris sciences et lettres). Après des épisodes de collaboration avec le Facebook AI Research (FAIR), il est depuis janvier 2021 détaché auprès de ce laboratoire, devenu Meta AI.
Ces dernières années, il s’est particulièrement intéressé à l’intelligence artificielle et plus précisément aux réseaux de neurones utilisés pour l’apprentissage profond. Il cherche notamment à déterminer dans quelle mesure ces modèles fonctionnent d’une manière qui se rapproche du traitement effectué par notre système nerveux. Ses travaux récents visent à comparer la manière dont le langage est traité par des modèles comme GPT-2 et le cerveau de volontaires.
CAPTER L’ACTIVITÉ DU CERVEAU QUI LIT OU ÉCOUTE
« L’idée est de comparer l’activité dans le cerveau humain lorsqu’il écoute ou lit des phrases ou des récits avec ce qui se passe dans des réseaux de neurones artificiels analysant les mêmes textes, explique Jean-Rémi King. Nous faisons appel à diverses techniques de neuroimagerie, notamment l’imagerie par résonance magnétique fonctionnelle (IRMf) et la magnétoencéphalographie (MEG). Nous obtenons ainsi des séries temporelles indicatives de l’activité cérébrale dans un certain nombre de régions du cerveau. »
Dans une publication1 de juin 2020, le chercheur présente ainsi des travaux consistant à comparer des enregistrements de l’activité cérébrale obtenus par IRMf et MEG auprès d’une centaine de volontaires pendant qu’ils lisaient des textes courts, aux activations générées par des milliers de modèles. « On trouve effectivement une certaine corrélation entre l’activité cérébrale chez l’humain et celle des modèles de deep learning, affirme le chercheur. Et nous avons observé que cette corrélation est d’autant plus forte que le modèle considéré est performant. » Dit autrement, plus un modèle de langage est capable de prédire correctement le prochain mot, plus son activité est corrélée avec celle d’un cerveau humain lisant les mêmes textes.
UNE HIÉRARCHIE DE PRÉDICTIONS
Dans une publication2 plus récente, parue en septembre 2021, l’équipe de Jean-Rémi King va plus loin. Cette fois, elle travaille sur les enregistrements obtenus par neuroimagerie auprès de 101 sujets qui, plutôt que lire, écoutent des histoires courtes, pendant 70 minutes environ. Et elle les compare à l’activité de GPT-2, un modèle de langage parmi les plus performants, lorsque ces mêmes textes lui sont soumis. « Nous avons constaté que les représentations de GPT-2 correspondaient non seulement aux réponses cérébrales, indique le chercheur, mais prédisaient également dans quelle mesure les sujets avaient compris les récits. » Pour évaluer le degré de compréhension des histoires par les participants, ceux-ci devaient répondre à un questionnaire relatif à ces textes, après les avoir écoutés.
Dans une publication3 plus récente encore (novembre 2021), Jean-Rémi King et son équipe cherchent à préciser ce qui distingue l’activité cérébrale de celle des modèles d’apprentissage profond. « Dans les publications précédentes, précise le chercheur, on restait sur un constat de similarité entre l’activité cérébrale et celle des modèles de deep learning. Cette fois, on essaie d’identifier ce qui ressemble ou pas. Notre cerveau ne cherche pas à prédire le mot suivant, comme le font les modèles de langage du type GPT-2. Il prédit bien au-delà. Non seulement plus loin, mais de manière hiérarchique. Par exemple, une zone de notre cortex cherche à prédire le prochain phonème, une autre le prochain mot, et ainsi de suite… jusqu’à la prochaine idée. »
LA THÉORIE DU CODAGE PRÉDICTIF CONFORTÉE
Ces travaux font appel à des enregistrements de signaux cérébraux IRMf de sujets (ils sont cette fois 304) écoutant chacun 70 minutes d’histoires courtes. Les calculs montrent à nouveau que les activités du modèle de langage GPT-2 analysant les mêmes histoires sont passablement corrélées à celles du cerveau. Mais ce n’est pas tout. « De plus, nous montrons qu’en améliorant le modèle à l’aide de représentations de prévision à long terme, on améliore leur corrélation avec l’activité cérébrale, ajoute Jean-Rémi King. »
« Les résultats, poursuit le chercheur, confirment une hiérarchie des prédictions dans le cerveau. Les régions frontales et pariétales du cortex prévoient des représentations plus abstraites et plus distantes que les régions temporales. Ces constatations sont conformes à la théorie du codage prédictif. » Cette théorie, qui ne cesse de se préciser et d’être confortée, stipule que le cerveau n’analyse pas de manière passive l’information provenant de ses sens, mais de manière active, en générant des prédictions, et cela à plusieurs niveaux sur la chaîne menant des récepteurs sensoriels jusqu’aux fonctions mentales supérieures. Chaque région du cortex impliquée dans cette chaîne d’interprétation des signaux sensoriels, après analyse des signaux provenant de la région amont, lui fournirait en retour des prédictions. Cette hypothèse est soutenue par un grand nombre d’observations expérimentales. Et par les travaux de Jean-Rémi King…
Pierre Vandeginste
1. Charlotte Caucheteux, Jean-Rémi King. “Language processing in brains and deep neural networks: computational convergence and its limits”. bioRxiv, 2020. doi
2. Charlotte Caucheteux, Alexandre Gramfort, Jean-Rémi King. “GPT-2’s activations predict the degree of semantic comprehension in the human brain”. bioRxiv, 2021. doi
3. Charlotte Caucheteux, Alexandre Gramfort, Jean-Rémi King. “Long-range and hierarchical language predictions in brains and algorithms”. arXiv, 2021. arxiv
