logo fullscreen logo
  • Dossier
    • IA quantique
    • Réseaux de neurones enzymatiques
    • Le méta-apprentissage fait ses premiers pas…
    • Les avancées prometteuses de l’apprentissage auto-supervisé
    • Que peut l’intelligence artificielle contre les fake news ?
    • Quand l’IA nous regarde…
    • Les réseaux de neurones impulsionnels
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
logo fullscreen logo
  • Dossier
    • IA quantique
    • Réseaux de neurones enzymatiques
    • Le méta-apprentissage fait ses premiers pas…
    • Les avancées prometteuses de l’apprentissage auto-supervisé
    • Que peut l’intelligence artificielle contre les fake news ?
    • Quand l’IA nous regarde…
    • Les réseaux de neurones impulsionnels
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
Menu
mobile logo
  • Dossier
    • IA quantique
    • Réseaux de neurones enzymatiques
    • Le méta-apprentissage fait ses premiers pas…
    • Les avancées prometteuses de l’apprentissage auto-supervisé
    • Que peut l’intelligence artificielle contre les fake news ?
    • Quand l’IA nous regarde…
    • Les réseaux de neurones impulsionnels
    • Quantification de la fragilité
    • Covid-19 et data
    • Ville algorithmique
    • Perception des véhicules autonomes
    • Formation continue
    • Data gouvernance
    • À la recherche des sens perdus
    • Deepfake
    • Agriculture numérique
    • Legal Tech
    • Données de santé
    • Start-up IA
    • Learning Analytics
    • Métiers de la data
    • Recherche IA : public/privé
    • Cybersécurité
    • Emplois dans la Data
    • Innovation et Data
    • Open source
    • Green IA
    • Sciences humaines et sociales et data
    • Voiture autonome
    • IA et création artistique
    • Des algos de confiance
    • Data cities
    • L’homme sur mesure
    • Débats autour des datas
    • Data science & robots
    • Usine 4.0
    • Données personnelles
    • Valorisations des données
    • Formation
  • Innovation
  • Expertise
  • Portrait
  • Point de vue
  • Lexique
  • + loin
    • Timeline
    • Repository
  • Emploi
    • Fiches métiers
  • S’abonner
    • NEWSLETTERS DÉJÀ PARUES
20 mai 2021
A la Une, DAP, Dossiers thématiques, Les avancées prometteuses de l’apprentissage auto-supervisé, News
#apprentissage auto-supervisé, #équipe Vertigo du laboratoire Cédric, #Nicolas Thom

Les avancées prometteuses de l’apprentissage auto-supervisé

⏱ 3 min

Les données étiquetées coûtent cher. De multiples voies de recherche sont explorées pour les économiser ou même s’en passer. L’apprentissage auto-supervisé est aujourd’hui perçu comme une approche particulièrement prometteuse.

« Apprentissage auto-supervisé : la matière noire de l’intelligence » (« Self-Supervised Learning: The Dark Matter of Intelligence ») : c’était en mars dernier le titre d’un texte signé Yann Le Cun, vice-président et « Chief AI Scientist » de Facebook, annonçant la publication¹ d’un nouveau modèle de vision artificielle très prometteur, comportant 1,3 milliard de paramètres, entraîné sur 1 milliard d’images glanées sur le web, et affichant une fiabilité record de 84,2 %. Au-delà de l’exubérance de la formule, Yann Le Cun exprimait un enthousiasme qui semble assez partagé dans la communauté pour les progrès récents de l’apprentissage auto-supervisé, ou Self-Supervised Learning (SSL).

Une forme d’apprentissage supervisé

« L’apprentissage auto-supervisé est une forme d’apprentissage supervisé, assure Nicolas Thome, professeur au CNAM et chercheur au sein de l’équipe Vertigo du laboratoire Cédric (Centre d’études et de recherche en informatique et communications). Ce qui le caractérise, c’est qu’au lieu d’entraîner les modèles à l’aide de données étiquetées à la main, on les fabrique automatiquement. Or, dans notre domaine, le nerf de la guerre, ce sont les données étiquetées. » Car elles sont rares et chères, puisqu’elles supposent du travail humain.

L’idée est donc de remplacer le travail fastidieux que représente l’étiquetage manuel d’un gros volume de données par celui consistant à concevoir et mettre en place un mécanisme d’étiquetage automatique. « Le tout est de trouver une manière efficace de produire ces données étiquetées, explique Nicolas Thome. Dans le cas du NLP (Natural Language Processing, NDLR), par exemple, on entraîne des modèles à prédire un mot que l’on a enlevé dans une phrase, de manière aléatoire. » Il existe toutes sortes de bases de données de textes accessibles à tous, et alimenter un modèle avec des phrases à trou ne coûte rien… D’où le succès de l’apprentissage auto-supervisé en traitement automatique du langage naturel.

Le modèle doit prédire le mot caché

« En NLP, assure Nicolas Thome, cette technique consistant à cacher un mot s’est avérée très efficace et productive. Elle a permis le développement notamment de modèles performants comme Bert et toute sa descendance. Mais il est moins facile de décliner cela dans d’autres domaines, cela reste une question ouverte. En vision, on modifie les images utilisées pour l’entraînement, par exemple en les masquant partiellement. Il est facile de fabriquer automatiquement toutes sortes d’images à partir d’une image originale et de les étiqueter. Mais il y a de nombreuses manières de cacher une partie d’une image ou plus généralement de la transformer. Et chacune a un impact différent sur l’apprentissage. C’est pourquoi il y a dans la littérature beaucoup de variations autour de ce principe. Pour les vidéos, par exemple, le modèle doit prédire la suite d’une séquence, ou reconstituer une partie manquante. Même chose pour l’audio. »

« L’apprentissage auto-supervisé est très prometteur, poursuit Nicolas Thome, c’est un sujet enthousiasmant. Les Gafa, notamment Google et Facebook, y consacrent beaucoup d’efforts. » Des publications récentes en témoignent. Comme celle² issue l’année dernière d’une équipe de Fair (Facebook AI Research) ou une autre³ résultant d’une collaboration entre des chercheurs de Fair et de l’équipe Inria grenobloise Thoth.  Chez Google, on a remarqué des travaux⁴ issus de l’équipe Brain et d’autres⁵ signés par une équipe de sa filiale DeepMind.

Application en ingénierie médicale

« Notre équipe s’y intéresse, bien sûr, poursuit le chercheur. Nous avons par exemple des travaux en cours sur une application en imagerie médicale. Il s’agit de segmenter des organes sur des scanners abdominaux. C’est-à-dire d’étiqueter chaque pixel correspondant à un organe déterminé. Ce genre d’images segmentées est utile par exemple pour préparer une opération. Nous avons un doctorant en thèse Cifre sur ce sujet, en partenariat avec la société Visible Patient. »

Toutefois, il faut replacer l’apprentissage auto-supervisé dans un cadre plus général. Parce que l’étiquetage des données est coûteux, on cherche par différents moyens à la fois à en tirer le meilleur parti et à s’en passer. « D’autres approches de l’apprentissage vont dans le même sens, précise Nicolas Thome. Ainsi, l’apprentissage semi-supervisé, consiste à travailler avec essentiellement des données non étiquetées mais aussi une petite proportion de données étiquetées. On est donc en mode supervisé sur une partie des données disponibles et en mode non-supervisé sur le reste. »

Diverses approches pour économiser l’étiquetage

« Il y a aussi l’apprentissage faiblement supervisé, qui consiste à exploiter des données dotées d’étiquettes vagues, poursuit le chercheur. Par exemple, on veut entraîner un modèle à segmenter les pixels d’images avec des chiens et des chats. Mais les images sont seulement étiquetées « chien«  et « chat« . On parle même d’apprentissage semi-faiblement supervisé quand on exploite des données faiblement étiquetées mais aussi des données étiquetées, voire des données non étiquetées. »

Les efforts pour économiser les étiquettes, qui impliquent du travail humain, donc un coût important, empruntent des voies multiples et variées. Mais parmi les approches explorées, l’apprentissage auto-supervisé semble avoir le vent en poupe. Nous y reviendrons prochainement.

Pierre Vandeginste

1. Priya Goyal et al., “Self-supervised Pretraining of Visual Features in the Wild”. arxiv.org/abs/2103.01988v2

2. Kaiming He et al., “Momentum Contrast for Unsupervised Visual Representation Learning”. https://arxiv.org/pdf/1911.05722.pdf

3. Mathilde Caron et al., “Unsupervised Learning of Visual Features by Contrasting Cluster Assignments”. 34th Conference on Neural Information Processing Systems, NeurIPS’20, 2020. ⟨hal-02883765v2⟩

4. Ting Chen et al., “A Simple Framework for Contrastive Learning of Visual Representations”. https://arxiv.org/pdf/2002.05709.pdf

5. Jean-Bastien Grill et al., “Bootstrap Your Own Latent: A new approach to self-supervised learning”. NeurIPS 2020. https://arxiv.org/pdf/2006.07733.pdf

Termes liés :
  • Données
  • Apprentissage supervisé
Retrouver les autres articles du dossier “Les avancées prometteuses de l’apprentissage auto-supervisé” :
  • BYOL apprend à bien représenter les images, sans supervision
Tags: #apprentissage auto-supervisé, #équipe Vertigo du laboratoire Cédric, #Nicolas Thom
Share:
Posts you'd might like
L’apprentissage automatique apprivoise les graphes
BYOL apprend à bien représenter les images, sans supervision
DAP, la newsletter du Data Analytics Post Recevez chaque semaine un éclairage sur les data science

Peut-on laisser un algorithme apprendre tout seul ?

A la différence de l’apprentissage supervisé, le contexte non supervisé est celui où l’algorithme doit opérer à partir d’exemples non annotés.

En savoir plus

ARTICLES RÉCENTS
  • En attendant l’ordinateur quantique universel…
  • L’IA teste ses premiers algorithmes quantiques
  • Les promesses de l’IA quantique
  • La recherche à l’assaut des deepfakes vocaux
  • Recyclage : nos déchets sous l’œil de l’IA

Tout savoir sur…

Le DAP

Comité Éditorial

Partenaires

Équipe


Copyright © Data Analytics Post. Tous droits réservés.

Mentions légales & CGU