Apprentissage par imitation (ou Apprentissage par renforcement inverse) : Cette forme d’apprentissage automatique utilise l’expérience des experts pour apprendre, par imitation.
En apprentissage par renforcement (Reinforcement Learning ou RL), l’algorithme essaie de trouver la meilleure stratégie pour atteindre un objectif en interagissant avec l’environnement et en obtenant des « récompenses », façon de qualifier la qualité des actions prises par l’algorithme. En apprentissage par renforcement inverse (Inverse Reinforcement Learning ou IRL), l’algorithme observe un « expert » résoudre le problème et essaye d’apprendre à faire aussi bien que lui (voire mieux). Cet expert peut être une personne ou un algorithme qui sait, a priori, résoudre le problème et peut multiplier les exemples. Cet apprentissage aussi qualifié d’apprentissage par imitation (Apprenticeship Learning) a l’avantage de ne pas nécessiter de définir de récompenses, problème compliqué et crucial en apprentissage par renforcement.
Prenons un exemple bien connu de problème résolu en utilisant l’IRL : les véhicules autoguidés[1], ces robots qui se déplacent de façon autonome sans intervention humaine comme on en trouve beaucoup en manutention dans l’industrie ou pour la logistique. Il est facile de faire piloter ces robots par un homme (l’expert) alors qu’il est très difficile de définir des récompenses, autrement dit de qualifier la qualité de la conduite, la vitesse, le positionnement idéal, etc. qui dépendent de multiples paramètres.
En revanche, l’IRL suppose d’avoir accès et d’exploiter de nombreux exemples fournis par l’expert, ce qui peut s’avérer coûteux, en temps, en argent ou en puissance de calcul. Aujourd’hui, les chercheurs ont résolu la plupart des problèmes « d’imitation », grâce à des algorithmes efficaces. Ils travaillent désormais sur des algorithmes qui combinent RL et IRL pour tenter d’obtenir le meilleur des deux modèles d’apprentissage.
[1] Kuderer, Markus, Shilpa Gulati, and Wolfram Burgard. « Learning driving styles for autonomous vehicles from demonstration. » Robotics and Automation (ICRA), 2015 IEEE International Conference on. IEEE, 2015.
+ Retour à l'index