L’apprentissage par transfert (Transfer Learning) permet de transférer la connaissance acquise sur un jeu de données “source” pour mieux traiter un nouveau jeu de données dit “cible”.
Le Transfer Learning peut s’expliquer intuitivement à travers un exemple simple : imaginons une personne qui veuille apprendre à jouer du piano, elle pourra plus facilement le faire si elle sait jouer de la guitare. Elle pourra utiliser ses connaissances en musique pour apprendre à jouer un nouvel instrument.
Dans le contexte de l’analyse des données, la plupart des algorithmes de machine learning reposent sur l’hypothèse que le jeu de données utilisé pour l’entraînement et le jeu de données de test appartiennent au même espace de descripteurs et suivent la même distribution de probabilités. Cependant, dans bon nombre d’applications, ce n’est pas le cas, et le réentraînement des modèles, gourmand en données et coûteux en temps de calcul, notamment en deep learning, peut être optimisé grâce au Transfer Learning : les connaissances acquises à partir du jeu de données d’entraînement, dorénavant appelé jeu de données “source” sont “transférées” afin de pouvoir traiter convenablement le nouveau jeu de données, nommé “cible”.
En pratique il existe un grand nombre d’approches de Transfer Learning. Certaines techniques font le transfert en pondérant et/ou en choisissant certaines données du jeu “source” pour les introduire dans le jeu “cible” : on parle d’instance based transfer. D’autres approches modifient les espaces de descripteurs “source” et/ou “cible” afin de les rendre similaires : on parle alors de feature based transfer. Enfin, d’autres méthodes encore modifient les modèles eux-mêmes (que ce soit des réseaux de neurones, des SVM, arbres de décisions…) afin de transférer les connaissances cette fois : on parle, dans ce cas, de model based transfer ou parameter based transfer. A noter qu’en deep learning, le concept de pre-trained model, de plus en plus courant dans la littérature, appartient à cette dernière famille.
+ Retour à l'index
