Classifieur bayésien (ou estimateur bayésien) : Cette méthode de classification réunit une famille d’algorithmes fondés sur le Théorème de Bayes. Leur particularité est de prédire la valeur des paramètres du modèle en termes de probabilité.
Considérons un jeu de données et un ensemble possible de distributions, au sens probabiliste, à savoir les valeurs que peuvent prendre les variables aléatoires et à quelle fréquence. Supposons que cette famille de distribution puisse être caractérisée par un paramètre (en général baptisé thêta). L’objectif de la classification paramétrique est de déterminer ce paramètre pour être capable de prédire la valeur des variables.
Il existe deux approches probabilistes de classification : l’approche fréquentiste et l’approche bayésienne. La première consiste à trouver le paramètre le plus probable au vue des données. Un classifieur bayésien essayera, quant à lui, d’apprendre la distribution du paramètre, en d‘autres terme d’estimer la pertinence de chaque valeur possible du paramètre.
Pour ce faire, il faut commencer par lui fournir une distribution « a priori » sur les paramètres ( i.e. reflétant les hypothèses que l’on a, a priori, sur le modèle ; cette distribution est appelée prior). L’algorithme apprend la distribution (appelée posterior) via la règle de Bayes, en utilisant les données.
Les classifieurs bayésiens bénéficient de nombreux avantages. Notamment, ils ne présentent pas de risque de surapprentissage, et fournissent beaucoup plus d’informations que les classifieurs fréquentistes (puisqu’en plus de la valeur, ils en donnent la probabilité). Cependant ils nécessitent de faire des hypothèses fortes à l’avance sur les distributions des données (via le prior et la famille de distribution fournie à l’algorithme), et sont difficilement applicables aux problèmes non paramétriques.
En pratique, la méthode fonctionne relativement bien alors que les hypothèses sur lesquelles elle repose sont généralement fausses dans les problèmes réels – par exemple, les distributions fournies à l’algorithme au début ne sont généralement pas les vraies distributions des variables aléatoires sous-jacentes au problème. Ainsi, le débat sur les mérites relatifs entre classifieurs fréquentistes versus bayésiens, qui date des débuts de l’apprentissage automatique, reste toujours d’actualité dans la communauté.
+ Retour à l'index
