« L’apprentissage par transfert, un moteur pour les applications industrielles »
⏱ 4 minDans le secteur industriel, on ne dispose pas toujours de grands jeux de données pour entraîner les modèles. Heureusement, il y a l’apprentissage par transfert, explique Mathilde Mougeot, titulaire de la chaire Industrial Data Analytics and Machine Learning au Centre Borelli, et professeur des universités à l’Ensiie (École nationale supérieure d’informatique pour l’industrie et l’entreprise), affiliée à l’ENS Paris-Saclay.
Qu’est-ce qui à provoqué l’émergence de ce nouveau champ de recherche ?
Mathilde Mougeot : Les techniques d’apprentissage actuelles donnent de bons résultats si on dispose de grands jeux de données étiquetées pour entraîner les modèles. En vision artificielle, par exemple, en s’appuyant sur d’énormes jeux de données, on a pu réaliser des outils capables de classifier avec un taux de réussite étonnant des caractères manuscrits ou des animaux. Toutefois, dans certains contextes, il est très difficile, et parfois impossible, de disposer d’un jeu de données important pour entraîner un modèle. L’apprentissage par transfert (transfer learning) a pour objet de répondre à ce type de situation.
Quel est le principe de l’apprentissage par transfert ?
M.M. : L’idée de départ est de s’appuyer, quand c’est possible, sur un domaine adjacent, présentant une forte similarité avec le domaine à traiter, et pour lequel il est possible d’entraîner un modèle sur un grand jeu de données, que l’on appelle « données source ». Bien sûr, un tel modèle donnera des résultats médiocres si on lui soumet directement un « jeu de données cible », mais il sera un bon point de départ. L’apprentissage par transfert va consister à utiliser des outils permettant d’entraîner le plus efficacement possible ce modèle sur le jeu de données cible, malgré sa petite taille, en profitant au mieux de son entraînement initial sur le grand jeu de données source.
Comment réalise-t-on ce « transfert » ?
M.M. : Depuis plus de vingt ans, on a publié toutes sortes de méthodes de transfert adaptées à tous les types de modèles d’apprentissage : réseaux de neurones, machines à vecteurs de support, arbres de décision, forêts aléatoires… Une façon de faire consiste à sélectionner certaines données du jeu de données source pour les introduire dans le jeu cible. Éventuellement en leur affectant un coefficient de pondération. C’est ce que l’on appelle le instance-based transfer. On peut aussi travailler sur les espaces des descripteurs des données source et cible de manière à les rapprocher. C’est le feature-based transfer. On peut enfin intervenir sur les modèles eux-mêmes, pour transférer les connaissances qu’ils contiennent : c’est le parameter-based transfer, ou model-based transfer.
Un modèle obtenu par transfert peut-il être le point de départ d’un autre transfert ?
M.M. : Absolument. Il est possible d’appliquer ces techniques d’apprentissage par transfert en cascade. Ainsi un modèle capable de diagnostiquer des défauts sur un hélicoptère à partir de données issues de capteurs de vibrations, qui a été entraîné sur une flotte d’hélicoptères, peut être un point de départ pour obtenir par transfert un modèle plus efficace pour le diagnostic sur un nouveau modèle d’hélicoptère, pour lequel on ne dispose que d’un petit jeu de données cible, du simple fait de sa nouveauté. Puis, ce modèle peut à son tour servir de point de départ pour réaliser par transfert un modèle spécialisé pour le diagnostic concernant ce même hélicoptère, mais dans des conditions de vol particulières, comme par exemple dans le désert.
Est-ce que certains modèles « sources » sont particulièrement adaptés au transfert ?
M.M. : Oui. Dans le contexte du deep learning s’est même développé le concept de « pre-trained model ». Il s’agit de modèles couvrant des domaines très larges, entraînés sur de vastes jeux de données et capables, par exemple en vision artificielle, de distinguer des centaines, voire des milliers,de classes d’objets différents. Certains sont accessibles en open source, comme Resnet ou Yolo, et sont utilisés comme point de départ pour toutes sortes d’applications.
L’apprentissage par transfert joue un rôle décisif dans le secteur industriel. Pourquoi ?
M.M. : Pour les applications industrielles, il est souvent difficile de trouver des bases de données volumineuses ad hoc pour entraîner un modèle de machine learning. Il est donc pratique de pouvoir utiliser des bases de données proches, obtenues à partir de données constituées pour une application industrielle similaire. Ou, plus radicalement, d’avoir recours à un jeu de données fabriqué par simulation.
Le jeu de données source peut donc être obtenu artificiellement ?
M.M. : Dans certains cas, un jeu de données source peut être obtenu à partir d’une simulation physique du phénomène que l’on veut étudier. Quand un industriel veut par exemple mettre sur le marché un dispositif de détection de chutes de personnes âgées, destiné par exemple aux Ehpad, reposant sur un revêtement de sol connecté doté de capteurs, il aimerait disposer d’un vaste jeu de données enregistrées lors de véritables chutes de seniors… Mais dans un premier temps, il est plus facile d’enregistrer des chutes de volontaires dans la force de l’âge. L’apprentissage par transfert permet de réaliser un premier modèle à partir d’un grand jeu de données proches de la réalité que l’on veut analyser, et d’améliorer par la suite ce modèle à l’aide d’un petit jeu de données obtenues lorsque des chutes de personnes âgées auront été enregistrées via ce sol connecté.
Et quand il est impossible de fabriquer physiquement un jeu de données source ?
M.M. : Dans ce cas, le jeu de données source peut être fabriqué par simulation numérique. Bien sûr la réalité physique s’écarte toujours des modèles, qui par définition simplifient, en revanche il est très facile de générer de cette manière des jeux de données de très grande taille. Dans le secteur industriel, il est courant de travailler par modélisation, par simulation, très en amont de la fabrication. Le recours à la simulation comme point de départ d’un apprentissage par transfert est un thème de recherche très actif.
