Dossier Valorisation des données : To be deep or not ?
⏱ 5 minDepuis 5 ans, la mode est au deep learning (apprentissage profond). Qui utilise ces algorithmes d’apprentissage automatique ? Pour faire quoi ? Ils ont d’ores et déjà bouleversé certains domaines. Dans d’autres, ils promettent beaucoup mais soulèvent aussi plusieurs problèmes.
En quelques années, l’apprentissage profond est devenu la mascotte de l’intelligence artificielle (IA). Un incontournable. Lorsque cette nouvelle structure de réseaux de neurones, dits profonds avec ses dizaines de couches (cachées), est venue sur le devant de la scène, il a même pris de cours la plupart des chercheurs. L’idée n’était pourtant pas nouvelle : « cette même approche de neurones formels était utilisée dans l’industrie dans les années 1990 pour lire des chèques, les codes postaux ou détecter des défauts dans des procédés industriels », rappelle Marc Duranton, chercheur au CEA, qui travaille sur le sujet depuis la fin des années 1980, chez Philips à l’époque. Sauf qu’en changeant d’échelle, en passant de milliers de neurones à des millions, d’une couche cachée à plus de 150, d’une base de centaines de milliers d’exemples à des millions, ça change tout ! Après avoir été mis sur la touche faute d’efficacité, les réseaux de neurones, en devenant profonds, sont réapparus en fanfare. Une véritable renaissance après une bonne dizaine d’années d’ »IA winter » comme disent les chercheurs.
Un travail d’ingénieur
Pourquoi un tel engouement ? Parce que ça marche ! Et que c’est avant tout de l’ingénierie… et plus tellement de la recherche. Concrètement, ce sont surtout les entreprises du numérique, GAFAMs1 en tête, qui mettent à profit le deep learning. « Depuis quelques années, ces grands groupes utilisent des logiciels du domaine public, rappelle Marc Duranton. Dès lors qu’une entreprise a une bonne équipe d’ingénieurs et une base de données suffisamment grande où chaque élément est identifié, elle aura d’assez bons résultats assez rapidement. » Les deux principaux domaines d’utilisation sont le traitement d’images (reconnaissance de visage, analyse de photos…) et le traitement du signal (reconnaissance vocale).
Quelques industries utilisent déjà le deep learning ou pourraient l’utiliser sous peu. Pour quoi faire ? Le traitement d’images permet par exemple de détecter des défauts (il suffit de les montrer au système pour qu’il soit capable, ensuite, de les reconnaitre alors que les décrire de façon explicite via un algorithme est complexe). « C’est ce que nous avons développé pour détecter des défauts lors de la fabrication de métal, confirme Marc Duranton. Cela permet également de reconnaitre des défauts dans des boites de conserve, de trier des fruits et légumes selon leur aspect, etc. » Côté traitement du signal, des suites temporelles de données permettent de détecter des tendances, notamment grâce à des réseaux de neurones récurrents (RNN) : de quoi prévoir les consommations d’eau ou d’électricité, des évolutions financières ou encore des dérives de fabrication sur des processus industriels grâce aux données issues de capteurs et à l’internet des objets, amené à se développer.
Une des limites actuelles de la plupart de ces approches courantes tient à leur façon de s’entrainer : par apprentissage supervisé, une méthode puissante grâce à la quantité de données étudiées, mais qui requiert une fastidieuse étape d’annotation manuelle des exemples. Cette face cachée du deep learning n’est pas très reluisante comme l’ont révélé les médias ces derniers mois (cf. les conditions de travail pour la plateforme MTurk d’Amazon2 ). « Pour ma part, je crois beaucoup plus à l’apprentissage faiblement ou semi supervisé, reconnait Francis Bach chercheur à Inria et à l’ENS Ulm : le système apprend à partir de beaucoup de données mais dont la description est peu précise. Cela pourrait permettre, par exemple, de décrire une image en tirant parti du texte qui l’entoure, à partir des relations établies sur la base de milliards d’images entourées de texte. Cela permettrait d’adapter le traitement d’images à autre chose que les exemples étiquetées chiens, chats ou fleurs…, par exemple au domaine médical ou à la botanique au sens large. » Il rappelle aussi que les réseaux de neurones exploités pour le marketing ou la publicité sur le web ne sont pas forcément des réseaux profonds. Et que les méthodes les plus simples restent compétitives quand on a peu de données.
« L’annotation des données d’apprentissage supervisé est parfois complexe voire peu fiable, par exemple lorsqu’il s’agit de choisir où commence et où finit une action dans une vidéo. » Francis Bach (Inria, ENS Ulm)
Plusieurs variantes d’apprentissage machine sont étudiées pour limiter le travail explicite d’annotation comme l’apprentissage par renforcement, le « competitive learning » ou les « Generative Adversarial Networks ». « Cela peut, par exemple, être utilisé pour reconnaitre de vraies images à partir d’images de synthèse, précise Marc Duranton. Ou pour constituer une base d’apprentissage pour la conduite de véhicules en analysant conjointement l’environnement et la réponse du conducteur : le conducteur montre dans chaque cas ce qu’il faut faire. Autre solution possible : l’apprentissage à partir d’un modèle numérique. On peut par exemple générer de multiples exemples d’un même objet, sous toutes ses facettes, en le modélisant en 3 dimensions. »
Pourquoi ça marche si bien ?
Toutes ces approches, plus performantes ou plus économes, souffrent d’un autre travers qui se résume à une question : pourquoi ça marche si bien ? Par comparaison, les méthodes traditionnelles ne marchent pas très bien mais on sait expliquer pourquoi, caricaturent certains ! « Par définition, les algorithmes d’apprentissage supervisé, basés sur la comparaison avec des millions de données précédemment annotées, sont assez faciles à évaluer, reprend Francis Bach : les réponses correspondent à des questions bien précises et la prédiction est facile à vérifier. » Pour les autres, comme nous l’avons évoqué la semaine dernière, les chercheurs ont du pain sur la planche pour expliquer et certifier le fonctionnement des réseaux de neurones, a fortiori du deep learning. Le niveau de « transparence » dépendra probablement des applications.
Finalement, après s’être immiscé très vite dans certaines utilisations industrielles, l’apprentissage profond est clairement revenu dans le giron des chercheurs. « Car pour avoir de meilleurs résultats, il faut d’excellents chercheurs, capables d’associer l’apprentissage profond à d’autres approches, prévient Marc Duranton. Par exemple de mettre en œuvre plusieurs réseaux profonds, un qui teste des solutions, l’autre qui les analyse, de coupler l’analyse à une méthode de Monte Carlo, ou à des approches bayésiennes ou de Random forest. »
Une des conséquences est que l’apprentissage profond monopolise désormais certains financements de recherche comme le regrette Nikos Paragios, professeur à l’école Centrale Supélec : « 80 % des recherches actuelles en vision par ordinateur (son domaine de recherche, ndlr) repose sur le deep learning. » Dans un article3 publié sur LinkedIn, il fustige ces recherches menées pour gagner 0,1 % de performance au lieu de travailler à améliorer et comprendre les fondements théoriques. « Cela nuit à la diversité des solutions explorées et à la culture scientifique en général, s’alarme-t-il, rappelant que tous les 5 ans, le volume de données double et les méthodes changent : en vision par ordinateur, après les modélisations géométriques en 1992, l’optimisation continue vers 1997, la théorie des graphes au début des années 2000, l’apprentissage statistique a bouleversé le domaine en 2007 (avec le boosting, les machines à vecteur de support ou encore les forêts aléatoires). C’est désormais au tour du deep learning d’être en haut de l’affiche depuis 2012. » Pour combien de temps ?
« Les doctorants n’entendront bientôt même plus parler d’apprentissage statistique, de reconnaissance de forme, de géométrie euclidienne, d’optimisation continue ou discrète… Si, à terme, le deep learning ne résout pas tout, quelle sera la suite ? » Nikos Paragios (Centrale Supélec)
Marc Duranton plaide, lui aussi, pour que les recherches dans les autres domaines soient financées. Il pointe un autre monopole préoccupant : celui des GAFAMs et des grandes entreprises. « Ils ont les bases de données, les applications, les financements et savent interagir avec le monde académique. De quoi embaucher les meilleurs chercheurs ! » Or, une chose est sûre : les monopoles sont rarement profitables au plus grand nombre. Soyez deep mais pas trop !
Isabelle BELLIN
Notes
1 GAFAMss Géants du Web : Google, Apple, Facebook, Amazon, Microsoft en tête.
2 Voir par exemple l’article : http://www.cnetfrance.fr/news/turc-mecanique-d-amazon-comment-les-travailleurs-du-clic-sont-devenus-esclaves-de-la-machine-39850322.htm
3 https://www.linkedin.com/pulse/computer-vision-research-my-deep-depression-nikos-paragios
