logo fullscreen logo
  • Dossier
    • IA quantique
    • Réseaux de neurones enzymatiques
    • Le méta-apprentissage fait ses premiers pas…
    • Les avancées prometteuses de l’apprentissage auto-supervisé
    • Que peut l’intelligence artificielle contre les fake news ?
    • Quand l’IA nous regarde…
    • Les réseaux de neurones impulsionnels
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
logo fullscreen logo
  • Dossier
    • IA quantique
    • Réseaux de neurones enzymatiques
    • Le méta-apprentissage fait ses premiers pas…
    • Les avancées prometteuses de l’apprentissage auto-supervisé
    • Que peut l’intelligence artificielle contre les fake news ?
    • Quand l’IA nous regarde…
    • Les réseaux de neurones impulsionnels
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
Menu
mobile logo
  • Dossier
    • IA quantique
    • Réseaux de neurones enzymatiques
    • Le méta-apprentissage fait ses premiers pas…
    • Les avancées prometteuses de l’apprentissage auto-supervisé
    • Que peut l’intelligence artificielle contre les fake news ?
    • Quand l’IA nous regarde…
    • Les réseaux de neurones impulsionnels
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
4 février 2021
A la Une, DAP, Innovation en action, News
#apprentissage profond

Les multiples voies de l’apprentissage frugal

⏱ 4 min

L’apprentissage machine fait merveille quand il peut exploiter un jeu de données copieux. Mais les données sont parfois rares et/ou chères, c’est pourquoi on explore les diverses pistes de l’apprentissage frugal.

Malgré les progrès spectaculaires de l’apprentissage profond, nous sommes bien obligés de constater que décidément ses réseaux de neurones n’apprennent pas aussi vite que les nôtres. Alors qu’un enfant de 2 ans apprend à reconnaître un chat dès qu’il en voit un, il leur faut absorber des quantités énormes d’exemples pour obtenir le même résultat.

S’appuyer sur des connaissances préalables

Apprendre, même avec peu de données, est devenu une thématique de recherche majeure. De fait, on assiste, ces dernières années, à une floraison de publications qui semblent promettre un printemps du « frugal learning ». Elles proposent des solutions pour pratiquer le « few-shot learning », le « one-shot learning », le « less-than-one-shot learning » et même le « zero-shot learning ». Le point de départ commun à toutes les solutions proposées : s’appuyer sur des connaissances préalables pour aider le modèle à intégrer de nouvelles classes, de nouveaux concepts, malgré la pénurie d’exemples.

Précisons le vocabulaire. « On parle de few-shot learning quand on ne dispose que d’une poignée d’exemples annotés, disons entre un et vingt, pour entraîner le réseau de neurones sur une nouvelle classe », explique Matthieu Cord. Professeur à Sorbonne Université et chercheur au sein de l’équipe MLIA (Machine Learning and Information Access) du LIP6, il est également directeur de recherche chez Valeo.ai, le centre de recherche en IA de l’équipementier Valeo. Le one-shot learning correspond au cas particulier où on ne dispose que d’un seul exemple par classe à apprendre. »

Apprendre même sans exemple

Mais on publie des solutions pour traiter des situations plus extrêmes… « Dans le cas du less-than-one-shot, poursuit le chercheur, on n’a pas d’exemple annoté pour chaque nouvelle classe, mais on dispose de suffisamment de connaissances sur ces classes pour intervenir sur le modèle afin qu’il les apprenne. » La situation la plus extrême étant le zero-shot learning : on ne dispose alors d’aucun exemple illustrant les classes à apprendre. Le modèle ne les intègre donc que par le biais d’une intervention sur ses paramètres, visant à introduire des connaissances définissant ces classes.

« On dispose de tout un tas de modèles qui marchent bien si on dispose d’un gros corpus d’exemples pour l’entraîner, explique Julien Mairal, chercheur à l’Inria Grenoble au sein de l’équipe Thoth. Ce que l’on cherche aujourd’hui, c’est à obtenir de bons résultats en utilisant moins de données et surtout moins de données annotées, car le plus souvent, ce sont les annotations qui coûtent cher. » Que faire ? « La première idée qui vient à l’esprit, poursuit le chercheur, c’est de repartir d’un modèle existant, pré-entraîné. La plupart des publications en vision artificielle partent d’un modèle qui a appris sur ImageNet. » Rappelons que la base d’images annotées ImageNet  contient aujourd’hui quelque 14 millions d’images, réparties en plus de 20 000 classes.

Intégrer des connaissances dans le modèle

« Imaginons un modèle qui a appris à partir d’exemples annotés à reconnaître des chiens, des chats, des tigres… mais aussi des voitures, des camions, des motos, suggère Matthieu Cord. Et supposons que ce modèle n’a jamais vu le moindre loup. Il n’y en avait pas dans la base de données initiale. Mais nous savons qu’un loup est un animal, que son apparence est proche de celle d’un chat, d’un tigre et surtout d’un chien. Et qu’à l’inverse il est très éloigné d’une voiture, d’un camion ou d’une moto. Certaines techniques de few-shot learning permettent d’incorporer ce type de connaissances dans le classifieur du modèle. » Ce qui lui permet d’apprendre à reconnaître un loup, à partir d’un petit jeu d’exemples.

Une équipe de chercheurs de l’université des sciences et technologies de Hong Kong a récemment publié une revue¹ des publications portant sur le few-short learning. Elle propose une taxonomie de ces multiples approches. Laquelle distingue pour commencer trois grands types de méthodes, selon l’usage que l’on fait de connaissances préalables pour permettre un apprentissage à partir d’un jeu de données réduit. Ces connaissances peuvent être utilisées pour intervenir sur le jeu de données, ou alors sur le modèle, enfin sur l’algorithme d’apprentissage.

Fabriquer plusieurs images à partir d’une seule

Faire appel à des connaissances préalables pour intervenir sur le (petit) jeu de données lui-même ? Une pratique courante consiste à s’inspirer d’un miracle biblique, la multiplication des pains. Pour entraîner un modèle à reconnaître une nouvelle espèce animale, on n’a trouvé qu’une poignée de photos, voire une seule ? Qu’à cela ne tienne, on va fabriquer plusieurs images à partir d’une seule en la modifiant de diverses manières : rotation, inversion, recadrage… Ainsi le modèle verra au moins le sujet que l’on cherche à apprendre dans des contextes un peu différents et sera moins influencé par lui. C’est ce que l’on appelle l’augmentation de données (data augmentation).

« On peut encore faire appel à des données synthétiques, ajoute Matthieu Cord. Ainsi lorsqu’un avion est en développement, il est facile de produire en quantité des images artificielles le montrant sous toutes les coutures. » Et même dans des environnements divers, dans la mesure où existent des modèles numériques d’aéroports et de toutes sortes de territoires. « Mais bien sûr, poursuit le chercheur, les premiers clichés obtenus lorsque le prototype de cet avion roulera puis volera dans le monde réel seront un peu différents. » Moins lisses, plus sales… « Mais on dispose de méthodes pour réaliser ce que l’on appelle une « adaptation de domaine », qui permet d’entraîner le modèle, par apprentissage non supervisé, à reconnaître cet avion dans le monde réel à partir de quelques photos, en s’appuyant sur ce qu’il a déjà appris grâce à un gros jeu de données synthétiques. »

Intervenir sur l’algorithme d’apprentissage

Reprenons la taxonomie proposée par cette équipe de Hong Kong. Intervenir sur le modèle, c’est ce que proposent la plupart des publications. Les solutions proposées reposent sur des techniques variées  : « multi-task learning », « embedding learning », « learning with external memory  » ou encore « generative modeling ». Enfin, troisième catégorie de méthodes selon ces auteurs : des publications décrivent des méthodes pour intervenir sur l’algorithme d’apprentissage lui-même. Elles invoquent plus souvent que les précédentes le concept de « meta-learning » (méta-apprentissage), qui ressemble fort à un Graal : en deux mots, il s’agit d’apprendre à (mieux) apprendre. Un vaste sujet… qui mérite d’être traité prochainement.

 

Note

1. Yaqing Wang et al., “Generalizing from a Few Examples: A Survey on Few-shot Learning”, ACM Computing Surveys, June 2020 doi.org/10.1145/3386252

 

Pierre Vandeginste
Termes liés :
  • Données
  • Deep learning
  • Réseau de neurones
  • Machine learning
  • Intelligence artificielle (IA)
  • Biais
  • Algorithme
  • Apprentissage non supervisé
Tags: #apprentissage profond
Share:
Posts you'd might like
analyse des foules
L’analyse des foules
L’apprentissage profond replie les protéines « in silico »
Ces réseaux de neurones rajeunissent photos et films du temps jadis
DAP, la newsletter du Data Analytics Post Recevez chaque semaine un éclairage sur les data science

Peut-on laisser un algorithme apprendre tout seul ?

A la différence de l’apprentissage supervisé, le contexte non supervisé est celui où l’algorithme doit opérer à partir d’exemples non annotés.

En savoir plus

ARTICLES RÉCENTS
  • En attendant l’ordinateur quantique universel…
  • L’IA teste ses premiers algorithmes quantiques
  • Les promesses de l’IA quantique
  • La recherche à l’assaut des deepfakes vocaux
  • Recyclage : nos déchets sous l’œil de l’IA

Tout savoir sur…

Le DAP

Comité Éditorial

Partenaires

Équipe


Copyright © Data Analytics Post. Tous droits réservés.

Mentions légales & CGU