Le transformeur (en anglais transformer) a été introduit en 2017 par une équipe de Google et représente une avancée majeure dans le traitement automatique du langage naturel et plus généralement des données séquentielles. Il a éclipsé les approches traditionnelles (notamment les réseaux de neurones récurrents) en introduisant un mécanisme sophistiqué dit “d’attention”, qui permet de capturer les relations à distance entre mots et l’influence du contexte sur leur sens, améliorant ainsi la capacité du modèle à saisir des nuances complexes. Des exemples notables de transformeurs incluent Bert de Google et GPT-3 d’OpenAI. L’adoption généralisée du transformeur a ouvert la voie à des applications avancées telles que la traduction automatique et la génération de contenu contextuellement pertinent. Elle a notamment débouché sur la réalisation de ChatGPT, qui a marqué en 2022 l’histoire des agents conversationnels.
+ Retour à l'index
