Le dé en vue bayesienne

Avant que l'on ne me tombe dessus, je tiens à mentionner une autre approche du "problème du dé pipé", qui découle des travaux du Révérend Thomas Bayes. Réduisons le problème à sa plus simple expression : nous sommes supposés savoir (une contrainte technologique sans doute !) que le dé ne peut avoir été pipé que d'une seule facon : il peut tirer un six une fois sur trois, au lieu d'une fois sur six. Imaginons par exemple que nous lancions le dé n fois. Chose surprenante, il montre un six à chaque fois. Que pouvons-nous en déduire ? Par exemple, à partir de quelle valeur de n déciderons-nous que le dé est pipé ?

La statistique "classique" a une réponse très simple : appliquons le test de Neyman-Pearson, bien sûr ! (L'article de Wikipedia mélange honteusement perspective bayesienne et perspective classique, en trois lignes...). Si le dé est pipé, la probabilité quíl tire à chaque fois un six est 1/(3^n) ; c'est 1/(6^n) s'il n'est pas pipé. Le "ratio de vraisemblance" est simplement le rapport de ces deux nombres, soit 2^n. C'est donc 2 si n=1, 4 si n=2...1 024 si n=10. "Et alors, j'en fais quoi ?" Pazienza... Supposons par exemple que je n'ai lancé le dé que deux fois. Avec n=2, il y a trois possibilités : zéro, un ou deux six. Chacune de ces possibilités a un ratio de vraisemblance ; c'est

• 16/25 pour zéro six
• 8/5 pour un six
• 4 pour deux six (4=2^2, ouf !).

(Si je lance le dé n fois et je tire m six, le ratio est 2^(2n-m)/5^(n-m)).

A l'évidence, plus je tire de six et moins j'aurai confiance dans l'hypothèse que le dé n'est pas pipé : le fait que le ratio de vraisemblance augmente (exponentiellement dans ce cas) le montre. Neyman et Pearson ont montré que  si seules deux hypothèses simples sont envisageables, comme ici, le "meilleur" test possible consiste à rejeter l'hypothèse du dé non pipé si le ratio de vraisemblance est assez grand. Ici, c'est on ne peut plus simple : si je tire "trop souvent" six, je rejette. Mais cela ne me dit toujours pas ce que "trop souvent" veut dire...

Vediamo un po. Si le dé n'est pas pipé, en le lancant deux fois j'obtiendrai deux six avec probabilité 1/36 (1/6 au carré), zéro six avec probabilité 25/36 (5/6 au carré), et un six avec la probabilité qui reste, soit 5/18. La solution classique au problème de test est la suivante : mon objectif, comme dans les tests présenté hier, est de limiter le risque de rejeter l'hypothèse de non-pipage à une probabilité 0,05 quand elle est en fait juste. Comment obtenir ce 0,05 ? Facile : je prends le cas où j'ai tiré deux six (probabilité 1/36), et je complète avec 0,08 fois le cas où j'ai tiré un six. Pourquoi 0,08 ? Tout simplement parce que

    1/36+0,08*5/18=1,8/36=0,05 !

"Mais 0,08 de "un six", kesaco ?" Tout simplement ceci : je lance le dé deux fois, et

• si j'ai deux six, je décide que le dé est pipé ;
• si je n'en ai qu'un, je tire au hasard un nombre entier entre 1 et 100 (avec un mécanisme non pipé...) ; s'il est inférieur ou égal à 8, je décide que le dé est pipé ;
• si je n'ai qu'un six et le nombre tiré est supérieur à 8, ou si je n'ai tiré aucun six, je reste méfiant mais je n'ai pas de preuve sérieuse que le dé soit pipé.

Quid si n=10, au fait, expérience tout de même plus raisonnable ? Il faut faire un peu plus de calculs, mais les choses sont encore assez simples. Si le dé n'est pas pipé, on tirera :

• zéro six avec probabilité 0,162 ;
• un six avec probabilité 0,323 ;
• deux six avec probabilité 0,291 ;
• trois six avec probabilité 0,155 ;
• quatre six avec probabilité 0,054...

Il n'est pas nécessaire d'aller plus loin, puisque nous sommes arrivés à une probabilité totale de 0,985. Le   test sera le suivant :

• si je tire au moins cinq six, je rejette l'hypothèse que le dé est pipé ;
• si j'en tire quatre, je tire un entier entre 1 et 100 et je rejette cette hypothèse si cet entier est supérieur à 36 ;
• dans tous les autres cas, je reste  aux aguets.

Tout ceci est bien gentil, nous dirait le Révérend Bayes ; mais c'est aussi un peu absurde. Il est très possible que le dé appartienne à la personne qui vient de parier avec moi qu'il pouvait tirer des six une fois sur trois. Dans ce cas, je me méfierai a priori. Peut-être  serais-je prêt à parier, par exemple à deux contre un, que le dé est pipé. Bayes dirait que j'accorde a priori une probabilité de 1/3 (deux contre un, c'est un tiers, si si) à l'hypothèse que le dé n'est pas pipé. A chaque lancer du dé, le tirage d'un six me conduira à réviser cette probabilité à la hausse (et naturellement, à la baisse si  le dé ne tombe pas sur un six). On peut facilement calculer la suite des probabilités de non-pipage si on tire consécutivement des six, en appliquant le théorème de Bayes, of course. Si je pense que la probabilité de non-pipage est p, alors un nouveau six me conduira à la réviser en

• p'=(p/6)/(p/6+(1-p)/3)=p/(2-p).

Voici la suite obtenue quand on ne tire que des six :

• a priori : 0,33
• après que le premier tirage a été un six : 0,2
• après deux six : 0,11
• après trois six : 0,06
• après quatre six : 0,03...

Si par exemple j'ai décidé de ne lancer le dé que trois fois, alors le fait d'avoir obtenu trois six me conduit à réviser mon évaluation des chances que le dé soit pipé (à 8 contre un). Si je tiens à conserver le seuil arbitraire mais conventionnel de 0,05, ce n'est pas assez pour me conduire à rejeter l'hypothèse que le dé est pipé ; en revanche, si j'avais décidé de lancer le dé quatre fois, obtenir quatre six me convaincra que le dé est pipé.

Ces deux approches ont l'air assez différentes : dans cet exemple, une expérience avec n=2 me permet de construire un test "classique", mais pas un test bayesien (pas avec un seuil de 5%, en tout cas). Quid si j'avais adopté un a priori "laplacien", en attribuant une probabilité égale à toutes les possibilités ? Dans ce cas, je serai parti d'une probabilité de p=1/2 ; après le premier six, j'aurais révisé cette probabilité à 1/3, puis à 1/5 après le deuxième,    1/9 après le troisième, 1/17 après le quatrième... vous vérifierez facilement que je retombe sur la même suite de probabilités qu'en partant de p=1/3, mais avec un coup de retard.  En statistique bayesienne, un a priori plus informatif (1/3 plutôt que 1/2) permet de tirer des déductions d'un plus petit nombre d'observations. Entre des mains malhonnêtes, c'est évidemment une tentation de trucage... mais d'un autre côté, pourquoi négliger les précieuses informations dont nous pouvons disposer a priori ?  Les modèles de la théorie économique ne font rien d'autre, puisqu'ils mettent en présence des agents dont les expériences passées (ou simplement un système de croyances subjectives) leur ont donné des a priori qu'ils révisent au vu des informations qui leur arrivent en permanence. Le débat, qui a parfois pris des airs de mini-guerre de religion,  n'est pas tranché ; mais de plus en plus d''economètres sont convaincus que   le choix entre ces deux approches doit se faire en fonction d'arguments pragmatiques---et l'accroissement des capacités des ordinateurs a beaucoup contribué à diffuser l'approche bayesienne. 

Comments

[Rédigé par : Antoine]

"A l'évidence, plus je tire de six et moins j'aurai confiance dans l'hypothèse que le dé est pipé"

Non-pipé, plutôt, non ?

[Rédigé par : all]

Je pense qu'on a toujours intérêt à tenir compte des informations précédemment obtenues pour faire évoluer la probabilité d'un évènement.
En la matière il me semble que vous devriez parler d'a posteriori au lieu d'a priori, puisque l'information est obtenue et que les déductions sont à venir.

- J'ai deux enfants dont l'un est un garçon, quelle est la probabilité pour que le troisième soit une fille?
Je fais 3 ensembles équiprobables :
*fille+fille
*fille+garçon
*garçon+garçon
L'information "l'un est un garçon" me fait supprimer les deux derniers ensembles, résultat 1/3

... Et alors ? Tout dépend de la valeur que vous attachez à l'information précédemment obtenue. Dans la théorie de Shannon et Weaver "l’information est fonction croissante de la réduction d’incertitude qu’elle apporte."

L'information "Il est très possible que le dé appartienne à la personne qui vient de parier avec moi" a plus de valeur à mes yeux que "un dé pipé donne un six une fois sur trois".

Sans vouloir verser dans des mathématiques de café des sports

Bien à vous

[Rédigé par : Bernard Salanie]

Merci, Antoine, je corrige.

[Rédigé par : Elessar]

Très bon article amha. J'ai beaucoup aimé l'explication du test de Neyman-Pearson. Ca montre une fois de plus que pour bien expliquer une théorie à un niveau élémentaire, il faut *vraiment* la maitriser.

Concernant l'approche Bayesienne, amha vous passez un peu sous silence son danger. Elle est superficiellement séduisante (on a l'impression d'exploiter "toute" l'information, en tout cas bien plus qu'avec les autres méthodes) mais il faut se méfier comme de la peste des "priors". D'où viennent-ils ? Sont-ils "objectifs" ? etc. Le prior dépend des a priori de l'économétricien et même un prior Laplacien n'a rien de "neutre".

Ce n'est pas seulement un pb de "mains malhonnêtes". Deux économétriciens de sensibilités politiques différentes peuvent avoir des priors différents, et donc tirer des conclusions différentes d'un même data set. Pour répliquer les résultats d'un autre, il faudrait donc que j'accepte ses priors ? Et s'ils me semblent idiot, on fait quoi ? Un test sur les priors ?

De plus, un Bayesien pur et dur ne verrait pas d'objection à ce que deux économétriciens viennent à deux résultats différents en travaillant sur un même data set, mais ça aurait un effet très délétère sur la crédibilité du discours économique dans l'opinion politique. Immanquablement, les subtilités Bayesiennes seront perdues et on en viendra à la simplification "tout résultat empirique dépend des opinions politiques de l'auteur, donc je suis en droit de rejeter tout résultat qui contredit mes propres convictions", version débile du "le politique doit primer sur l'économique".

Avec une méthode classique je perds peut-être un peu d' "information", mais ce n'est pas de l'information "neutre" que je perds, c'est la partie de l'information qui est la plus controversée. En la rejetant, j'ai moins à dire sur les données, mais ce que je dirai sera indépendant de mes a priori et donc bien plus convaincant.

On la fait quand, cette guerre de religion :-) ?

LSR

[Rédigé par : jck]

"Deux économétriciens de sensibilités politiques différentes peuvent avoir des priors différents, et donc tirer des conclusions différentes d'un même data set."
Sauf qu'on ne tire pas des conclusions des "priors" ,mais de ce qui vient apres.Donc si les observations a venir sont les memes pour les deux econometriciens,les conclusions convergeront meme si les "priors" sont differents.

[Rédigé par : Elessar]

"les conclusions convergeront meme si les "priors" sont differents"

Oui effectivement, avec assez de données (et si les priors ne sont pas complètement tordus au départ, mais c'est une question annexe). Mais quand on a assez de données pour éliminer l'effet des priors, pourquoi utiliser une méthode Bayesienne ? De plus, ca ne résout pas la question de ce qu'est un "bon" prior pour autant.

Mais quand on n'a pas assez de données (séries temporelles par exemple) et que le prior initial peut avoir une influence sur le résultat, on fait quoi ?

LSR

[Rédigé par : jck]

"Mais quand on a assez de données pour éliminer l'effet des priors, pourquoi utiliser une méthode Bayesienne ?"
Pour eviter le probleme dit "sophisme du procureur",essentiellement les tests de significance ont des variantes de ce sophisme.

[Rédigé par : Fr.]

Petit hors-sujet : ne ratez pas la page 22 du Monde sur le pouvoir d'achat et ses fluctuations "ressenties" !

[Rédigé par : PierreD]

Ahah, le vieux troll. A moi:

"ça aurait un effet très délétère sur la crédibilité[...]"
En dehors du débat bayésien/classique, pensez vous que l'on doive sacrifier la vérité et/ou la rigueur scientifique d'un métier pour en améliorer sa crédibilité? Par exemple, les scientifiques savent que leurs théories ne sont que des modèles, falsifiables. Le pb est que le le créationniste moyen va utiliser cette non-certitude pour justifier ses élucubrations. Mais faut il pour autant que les scientifiques mentent et affirment que la science est pourvoiyeuse d absolues vérités? non, il faut rester honnête. Et de la même manière, si on pense que le bayésien est mieux aux prix d'un perte d'objectivité, il faut le dire même si ca génère des risques de dérapages. C'est mon avis, mais je suis ptt trop fleur bleue. D'ailleurs savez vous que la Federal Drug Administration utilise de plus en plus de méthodes bayesiennes?

Maintenant en ce qui concerne le fond, moi je suis bayésien alors forcément je vais donner qq arguments en sa faveur:
- les 2 théories ne donnent pas toujours les même resultats qd les donnees deviennent infinies.
- la différence fondamentale est l'acceptation explicite de la subjectivite dans le bayesien.
- le fréquencisme est tout aussi subjectif mais il tente de le cacher. Il y a de l arbitraire dans les procedures de test, les choix d estimateurs, la notion de p-valeur, le choix du alpha, le choix des hypo alternatives...
- le frequencisme est inconsistant et peut conduire a des paradoxes. Jamais aucun paradoxe n a ete trouve dans la theorie bayesienne (mais si vous en avez, je suis preneur...)
- le fréquencisme considere que les donnees sont aleatoires et que les hypotheses ne le sont pas. Il doit donc integrer sur la distribution des donnees. Ses résultats prennent donc en compte des données *non obsevées* !!! Moi j aime pas trop. Et c'est la source des paradoxes, selon la distrib que vous supposerez pour ces donnees virtuelles, vous pourrez avoir des reponses differentes...
- les resultats des test/IdC frequenciste sont tres souvent mal interprétes. Ce dont le scientifique a vraiment besoin est un intervalle de croyance bayesien.
- pour chaque nouveau pb, le frequenciste doit trouver une nouvelle fonction pivotale et un nouveau test. Ce n'est pas une méthode générale et automatique.
- le bayésien peut traiter des problemes intraitables en fréquenciste car il autorise de mettre des distribution de probabilité sur des paramètres (c est un non sens en frequenciste)
- ceci permet de creer des modeles hierarchiques complexes, et de les gerer avec le meme formalisme unifié.

Evidement tout n est pas rose et les pb sont:
- temps de calcul prohibitifs. D'on nécessité de méthodes approchées (y en a qui marchent assez bien, mais pas toujours)
- pb de la spécification des a priori. Ce n'est que très rarement facile et c'est aussi source d'approximation (difficulté de traduire les connaissance d'un expert en distribution)
- subjectivité: pour moi ce n'est pas un pb, mais une qualité, une preuve de rigueur. Comme on a abandonné la notion de déterminisme en physique depuis pres de 100 ans, comme on a abandonné l'espoir de définir un objectivisme absolu en philosophie depuis plus longtemps encore, il faudra bien que les statisticiens abandonnent un jour cette croyance en l'existence d'une parfaite neutralité.

Bon tout ca ce n'est que mon opinion, la communauté est encore bien divisée et c'est pas moi qui vais changer tout ca. Mais les choses bougent...

Allez pour le plaisir qq citations:

"In a reasonable world, there is room for both approaches, provided people are clear about what they are calculating. The problems occur most often when people try to do things using a frequentist approach to data analysis which simply isn't appropriate."
[Kevin Moore]

``Here is a sample conversation between two Everettistas, who have fallen from a plane and are hurtling towards the ground without parachutes:
Mike : What do tou think our chances of survival are?
Ron : Don't worry, they're really good. In the vast majority of possible worlds, we didn't even take this plane trip."
[unknown]

"We [statisticians] will all be Bayesians in 2020, and then we can be a united profession."
[D.V. Lindley]

"The [statistical] test provides neither the necessary nor the sufficient scope or type of knowledge that basic scientific social research requires."
[Morrison \& Henkel, 1969]

"Null-hypothesis tests are not completely stupid, but Bayesian statistics are better."
[Rindskopf, 1998]

"Les intervalles de confiance se justifient (comme le test) par une conception fréquentiste qui traite les données comme aléatoires, même après les avoir recueillies. Cela est si étrange que l'interprétation fréquentiste "correcte" des intervalles de confiance n'a pas de sens pour la plupart des utilisateurs. Ironiquement, c'est l'interprétation bayésienne des intervalles de confiance en termes d'"un intervalle fixé ayant 95\% de chances d'inclure la vraie valeur du paramètre" qui les rend intelligibles."
[unknown]

"Classical statistics was invented to make statistical inference 'objective.' In fact, classical statistics is no more objective than Bayesian statistics, but by hiding its subjectivity it gives the illusion of objectivity."
[Jefferys, 1992]

"There are two ways of solving a data analysis problem: the Bayesian way and the wrong way."
[Bishop, C]

"There are many excuses for not using a Bayesian approach. The only true one is incompetence."
[Skilling]

Cordialement
Pierre