Inférence bayésienne : cette méthode d'inférence statistique
L'inférence bayésienne, c'est quoi ?
L’inférence bayésienne est une méthode statistique ayant pour but de calculer le degré de confiance à accorder à une hypothèse. L'inférence bayésienne est basée sur le théorème de Bayes qui établit les principes de calcul d’une probabilité conditionnelle. Trois principes fondamentaux caractérisent la méthode d’inférence bayésienne :
- La connaissance antérieure intégrée dans le calcul de la probabilité,
- Lors de l’acquisition d’une nouvelle donnée, l’hypothèse est évaluée suivant ce niveau de connaissance antérieure,
- La méthode de calcul est itérative, c’est-à-dire que, à chaque nouvelle information, le calcul est révisé et les résultats réévalués, toujours en fonction de ce niveau de connaissance antérieure.
Par cette méthode, la prédiction est ainsi affinée progressivement.
Qu'est-ce que le raisonnement bayésien ?
Le raisonnement bayésien qui sous-tend cette méthode repose sur l’idée que chaque probabilité est conditionnelle. La probabilité bayésienne est interprétée comme un degré de croyance. Par ailleurs :
- La probabilité s’affine et se met à jour dès que l’on dispose d’une nouvelle information (l’apprentissage statistique est réalisé par l’assimilation de nouvelles données brutes).
- La véracité du raisonnement bayésien et sa cohérence sont soutenues par les règles mathématiques du calcul des probabilités.
Les données brutes et les hypothèses conditionnent conjointement le raisonnement bayésien et permettent de restreindre l’écart entre le petit monde du formel et le grand monde du réel.
L'optimisation bayésienne, qu'est-ce que c'est ?
L'optimisation bayésienne est à la base de nombreuses techniques déployées dans le domaine informatique et de l'IA (intelligence artificielle), et notamment du machine learning. Elle découle directement de l’inférence bayésienne et des méthodes de calcul associées (approche probabiliste). Elle permet de déterminer des valeurs optimales et des informations exploitables à partir d’un nombre d’observations limité. En d'autres termes, elle part d'un historique d'événements observés pour inférer la probabilité des événements potentiellement à venir.
Un algorithme d’optimisation bayésienne permet par exemple de déterminer une configuration automatique efficace de base de données sans passer par de nombreux tests souvent indispensables dans ce domaine. En un minimum d’observations, l’algorithme est en capacité de déterminer les paramètres requis pour une configuration optimale. Il permet de minimiser les contraintes de temps et les coûts matériels.
Est-ce que l'esprit humain est bayésien ?
L'esprit humain apprend par l'expérience en associant données "expérimentales" et données "a priori", tout en faisant la différence entre ces deux types d'information. Conclusion : il n'est pas calqué "naturellement" sur une logique probabiliste et bayésienne.
"Les travaux de M.P. Lecoutre et de Durand (thèse de 1989) ont montré que lorsque une question prédictive est posée en termes d'une statistique naturelle ('Quelle est la probabilité qu'on retrouve une moyenne de même signe si le résultat est significatif ?'), les réponses des chercheurs sont en gros d'accord avec les estimations bayésiennes ; alors que lorsque la question est posée en termes du test de signification ('Quelle est la probabilité qu'on retrouve un résultat significatif ?'), les réponses sont aberrantes, reflétant une absence de représentation intuitive de la situation (voir M.P. Lecoutre & Rouanet, 1993). Ces résultats confirment la conclusion de Rouanet (1998, p.26-27) que l'esprit humain n'est pas un 'statisticien fréquentiste' " (Dixit le chercheur Henry Rouanet).
Qu'est-ce que la vraisemblance bayésienne ?
La vraisemblance est une fonction des paramètres d’un modèle statistique. Dans l’approche bayésienne, quand la densité de probabilités conjointes associée à des données expérimentales est identifiée, elle définit la fonction de vraisemblance (plausibilité d'une valeur des paramètres d'un modèle).