Fréquentistes & baysiennes, catch dans la boue

[invite73192618]

Bonjour,


Suite à la suggestion de Médiat ailleurs, le présent fil pour discuter des approches baysiennes et fréquentistes.

1) Sont-ce des théories mathématiques ?
2) Sont-ce des théories scientifiques ?
3) Si oui donnent-elles des résultats identiques ? (pour donner un exemple : formalistes et platoniciens ne regardent pas leurs mathématiques de la même façon, mais ils produisent les mêmes mathématiques)
4) Sont-ce des interprétations (des visions) d'une ou de plusieurs théories mathématiques ou scientifiques ?
5) En quoi, exactement divergent-elles ?
6) Sont-elles irréconciliables ?
7) Pourquoi, vu de l'extérieur (là ou je me trouve) on sent comme un esprit de chapelle, voire de mépris pour "les autres" quand ce sujet est abordé ?
8) Ont-elles des domaines d'application différents ?
9) ...
-----

[Nicophil]

Bonjour,

Pour moi, c'est de la logique.
Pas des mathématiques en tout cas. De la philosophie de la logique si on veut.

Donc c'est le bon forum.

[Médiat]

Bonjour,

Est-ce que vous pouvez étayer votre position, vous auriez écrit que c'est de la plomberie que ce ne serait ni plus ni moins convainquant.

[invite73192618]

1) Sont-ce des théories mathématiques ?
2) Sont-ce des théories scientifiques ?
4) Sont-ce des interprétations (des visions) d'une ou de plusieurs théories mathématiques ou scientifiques ?

Pour moi, aucune de ces réponses. Je les vois comme des modèles/outils et non des visions du monde dont l'une serait "vrai" et l'autre à proscrire. Mais c'est une position qui est probablement/fréquemment différente de celles et ceux qui dénigrent une des deux approches.

3) Si oui donnent-elles des résultats identiques ? (pour donner un exemple : formalistes et platoniciens ne regardent pas leurs mathématiques de la même façon, mais ils produisent les mêmes mathématiques)

FAPP, le constat est que les mises en oeuvre pratiques sont très différentes, ainsi que l'interprétation des résultats. Un bayésien dira que oui il y 85% de chance que le traitement X ait un effet. Un fréquentiste dira que non, l'hypothèse nulle n'est pas rejetée.

5) En quoi, exactement divergent-elles ?

L'approche Baysienne cherche à calculer des probabilités en mettant à jour, en fonction de nouveaux événements, un set de probabilité (ou distributions de probabilité) fourni à priori. L'approche fréquentiste cherche à évaluer si on peut rejeter l'hypothèse nulle d'une absence de différence dans les mesures (variables dépendantes) en fonctions d'interventions (variables indépendantes).

6) Sont-elles irréconciliables ?

Un puriste bayésien dira que les fréquentistes ne savent pas ce que c'est qu'une probabilité. Un fréquentiste vexé répondra que les bayésiens ne savent pas ce que c'est qu'une hypothèse. Pour moi, oui les deux sont conciliables en ce que, si on veille à ce que les postulats injectés dans les modèles soit identiques (ce qui peut être très difficile), alors dans la limite des grands n les deux approches devraient converger vers des conclusions identiques.

7) Pourquoi, vu de l'extérieur (là ou je me trouve) on sent comme un esprit de chapelle, voire de mépris pour "les autres" quand ce sujet est abordé ?

Bonne question. C'est assez mystérieux pour moi aussi, surtout quand je vois des gens habitués au "méta" tomber dans ce travers. Pour que le phénomène soit aussi répandu, je soupçonne que cela provient d'une insécurité réciproque, liée à des solutions opposées mais également insatisfaisantes sur le plan intellectuel concernant ce qu'on pourrait appeler la "prise en compte de l'observateur".

Avec une approche fréquentiste, le choix des hypothèses est arbitraire mais joue un rôle fondamental dans l'interprétation des résultats. Si les chercheurs sont assez futés pour poser les hypothèses intéressantes, c'est incontestablement une force, mais une force qu'il est difficile d'évaluer autrement que d'un point de vue purement qualitatif. Avec une approche bayésienne, le choix des priors, qui est le reflet du choix des hypothèses, donne généralement beaucoup plus de souplesse que l'approche fréquentiste, mais sans aucun statut spécial pour le fait que le résultat provient d'une intervention expérimentale plutôt que d'observation. Encore une fois, cela peut être une force (résultat plus robustes quand les données sont effectivement purement d'observations), mais il y a là aussi un aspect purement arbitraire qui n'est pas très satisfaisant (après tout même des données purement d'observation, il a fallut que quelqu'un sélectionne ces observations, donc fasse des choix qui devraient être pris en compte dans les priors).

8) Ont-elles des domaines d'application différents ?

Certainement. Si je veux tester une hypothèse, en particulier l'effet d'un traitement, l'approche fréquentiste est généralement beaucoup plus naturelle que l'approche bayésienne. Si en revanche je souhaite résoudre un problème d'intelligence artificielle, l'approche baysienne sera généralement bien meilleure.

[A voir en vidéo sur Futura]

[Médiat]

Pour moi, aucune de ces réponses.

Pour vous, ni "je ne sais toujours pas quoi écrire ici" fréquentiste, ni bayésienne ne sont des théories scientifiques ni mathématiques, s'appuient-elles sur des théories mathématiques ou scientifiques ? Lesquelles ? Qu'appelez-vous modèles/outils dans ce contexte ?

[invite73192618]

"je ne sais toujours pas quoi écrire ici"

J'ai suggéré "approche".

s'appuient-elles sur des théories mathématiques ou scientifiques ? Lesquelles ?

Oui bien sur. Statistique, probabilité.

Qu'appelez-vous modèles/outils dans ce contexte ?

ANOVA, classificateurs baysiens, etc

[Médiat]

Approche, pourquoi pas ; donc pour vous ces approches ne sont pas scientifiques mais s'appuient sur les statistiques et les probabilités (Kolmogorov ?).

Ce que je ne comprends pas c'est que vous dites que ces approches sont des modèles/outils, puis vous citez deux exemples d'outils statistiques comme étant les modèles/outils, les approches fréquentistes et bayésiennes se résument-elles à un choix exclusif d'outils, et alors, pourquoi ne pas utiliser les deux ?

[Paradigm]

Fréquentistes & baysiennes, catch dans la boue

le présent fil pour discuter des approches baysiennes et fréquentistes.

Pour discuter.

Ma compréhension. L'interprétation de la notion de probabilité est une question de philosophie comme traité par exemple ici http://plato.stanford.edu/entries/pr...ity-interpret/

L'inférence statistique bayésienne, fréquentiste, ... sont des méthodologies d'analyses de données expérimentales. C'est me semble t-il ce dont vous parlez.

On les retrouvent aujourd'hui dans ce qui concerne la "data mining".

Cordialement,

[invite73192618]

donc pour vous ces approches ne sont pas scientifiques mais s'appuient sur les statistiques et les probabilités (Kolmogorov ?). (...) pourquoi ne pas utiliser les deux ?

Je ne comprends pas ces questions. Il me semble que mes réponses montrent clairement que je considère ces deux approches comme scientifiques et que je n'ai pas de problème à utiliser l'une ou l'autre en fonction du contexte.

[Médiat]

Pourtant, votre message #4 semble clairement dire que ce ne sont pas des théories mathématiques ni scientifiques, ni même des interprétations de théories scientifiques

[invite73192618]

Pourtant, votre message #4 semble clairement dire que ce ne sont pas des théories mathématiques ni scientifiques, ni même des interprétations de théories scientifiques

La logique du premier ordre est-elle une théorie mathématique? Si tu réponds non, est-ce que je dois en conclure que la logique n'est pas mathématique selon toi? Ma réponse #4 est similaire: je ne vois pas les approches comme des théories scientifiques, mais je n'ai pas problème à les voir comme des approches scientifiques (et j'image qu'on peut aussi les utiliser comme des approches mathématiques, mais il faudrait demander à des mathématiciens).

[Médiat]

Si on commence à jouer sur les mots, je me retire ; une fois de plus je n'aurais pas eu de réponse sur ces questions.

[Nicophil]

Pour vous, ni "je ne sais toujours pas quoi écrire ici" fréquentiste, ni bayésienne ne sont des

Ce sont des Ecoles : deux Ecoles de logique (non de mathématiques).

Il s'agit d'une querelle d'Ecoles au niveau de l'interprétation des probabilités conditionnelles :
cf. http://forums.futura-sciences.com/ep...ionnelles.html
L'Ecole bayésienne insiste sur la différence entre causalité et inférence.

[mh34]

Bon je vais m'en mêler ( sur la pointe des pieds...) parce que le sujet m'intéresse "professionnellement parlant", si j'ose dire.
Nous, on utilise les probas bayésiennes pour calculer le risque de T21 au premier trimestre ; les données pour le calcul de risque sont
- l'âge maternel
- la longueur crânio-caudale et la clarté nucale
- le dosage sanguin maternel de deux hormones.
Et on en dépiste 85%.
Est-ce qu'utiliser l'approche fréquentiste serait possible avec la même efficacité dans ce cas précis?
Si la réponse est "non", on a la réponse à au moins une question de Jiav, celle-là :

8) Ont-elles des domaines d'application différents ?

Au passage...bonne année à tout le monde.

[minushabens]

Jiav confond me semble-t-il deux choses:

- d'une par l'interprétation bayesienne des probabilités, selon laquelle une probabilité modélise un "degré de confiance" en quelque-chose (la survenue d'un événement par exemple) et qui s'oppose à l'interprétation dite fréquentiste selon laquelle une probabilité est la limite d'une fréquence empirique.

- d'autre part la méthode d'estimation bayesienne en statistiques, qui consiste à estimer une distribution à partir d'une distribution dite "a priori" (i.e. précédant l'observation) et d'une observation.

Il n'y a pas de lien fort entre les deux. Et d'ailleurs la plupart des probabilistes ne se soucient pas tellement d'interprétation, et les statisticiens non plus, qui peuvent faire indifféremment de l'estimation bayesienne ou selon le principe de vraisemblance.

[ansset]

bonjour, j'ai trouvé un lien interessant parceque je le trouve assez didactique :
http://www.christian-faure.net/2013/...frequentistes/
( je ne connais pas ce monsieur, mais sa manière de présenter les choses correspond à ma vision "vulgarisée".
cordialement.

[minushabens]

mouais bof... il faut savoir que cette question de l'interprétation des probabilités a agité le milieu scientifique au début du vingtième siècle, avec des gens comme Borel et von Karman, et puis Kolmogorov est arrivé et a mis tout le monde d'accord. Aujourd'hui les mathématiciens ne s'intéressent plus du tout à ça, il n'y a plus que les philosophes... qui eux peuvent gloser éternellement sur les mêmes questions (voir en particulier un texte tout-à-fait ridicule de Popper). Et encore une fois, les stats bayesiennes sont juste une méthodologie, il n'y a rien de rien de rien de philosophique là-dessous.

[Médiat]

Bonjour,

Merci minushabens, si j'ai bien compris, vous dites que le "choix" fréquentiste vs bayésien n'est ni mathématique ni philosophique (sans doute la raison de la gêne que m'ont occasionné toutes les discussions sur le sujet, cet aspect étant "dissimulé"), c'est la réponse claire que j'attends depuis longtemps (et je m'en tiendrai, comme d'habitude, à Kolmogorov).

Je trouve catastrophique la bande dessinée dans le lien, si on regarde la dernière image, on voit un fréquentiste qui fait des calculs et interprète mal, et un bayésien qui sort d'on sait où le montant de son pari (à la limite un rapport de pari aurait été plus parlant), autrement dit un scientifique qui fait des calculs valides mais qui se trompe et un sorcier qui a raison (je caricature la caricature, et, bien sûr, ce que je critique ce n'est ni le fréquentiste ni le bayésien, mais la caricature).

[ansset]

@minusabens
à qui réponds tu , s'il te plait ?
cordialement.

[ansset]

@Mediat:
la caricature est très forcée, certes.
elle introduit la grande dualité entre approche à priori et une approche à postériori.

[Médiat]

Le problème c'est qu'elle n'explicite rien, c'est, au mieux, une "inside joke" réservée aux "happy fews" dont je ne suis pas.

[ansset]

il me semble, que ce qui importe c'est le texte, qui à mon sens explicite assez bien les deux "modèles", et de surcroit en retrace l'historique.
( j'avoue n'avoir même pas regardé la mini bd en 3 cases du début )
tout comme , je passe maintenant rapidement sur les titres des actus de FS.

[minushabens]

Merci minushabens, si j'ai bien compris, vous dites que le "choix" fréquentiste vs bayésien n'est ni mathématique ni philosophique (...)

Disons que les mathématiciens se sont dotés d'une axiomatique, celle de Kolmogorov, et que du coup les questions d'interprétation sont sorties du domaine des mathématiques. Aujourd'hui c'est vu comme un point d'histoire (et qui commence à dater). Pour être concret, le nom de E.T. Jaynes qui apparaît dans l'autre discussion, je l'ai rencontré pour la première fois ici, alors que j'ai lu plus d'un traité de théorie des probabilités et de statistiques.

Maintenant, il n'y a pas que les mathématiciens, et puisque les probabilités interviennent en Physique, la question de l'interprétation peut y avoir un intérêt (j'ignore si c'est le cas).

Ensuite, le site cité par Ansset parle du renouveau récent des statistiques bayesiennes. Ca c'est vrai mais ça n'a que peu de rapport avec le débat d'interprétation (comme je l'ai écrit plus haut) et on peut même lui attribuer une raison très technique (que je ne développe pas ici).

[ansset]

j'ai simplement cité ce site, sur lequel je suis tombé par hasard, en reponse à la question initiale.
donc pour essayer de dire simplement la diff entre les probabilités fréquentistes et les probabilités bayésiennes.
les deux étant des types de modèles probabilistes qui "utilisent" les maths.
et de rappeler un bref historique.
ensuite, on comprend mieux pourquoi chacune des deux approches peut avoir un intérêt diff selon les cas
par exemple.
- difficile par exemple de faire du "bayésien" quand on a pas de modèle de causalité
- les deux doivent naturellement obtenir des résultats similaires quand n grand. ( nb des cas observés )
- l'informatique se prête bien aux simulations bayésiennes.
- il peut y avoir diff d'approche pour un petit échantillon, et dans ce cas plusieurs hypothèse sont envisageables (1)
-on ne peut faire que du fréquentiqme si n=0 ou très petit ( pas d'occurences suffisantes )

Enfin, certains voient dans le "raisonnement bayésien" une caractéristique intrinsèque du cerveau humain(2)

(1) on peut développer ce point
(2) je ne m'aventure pas sur ce terrain.

ps : on peut en faire un sujet d'épistémologie, mais certainement pas de pure philo.

[Nicophil]

- difficile par exemple de faire du "bayésien" quand on a pas de modèle de causalité

-on ne peut faire que du fréquentiqme si n=0 ou très petit ( pas d'occurences suffisantes )

?? C'est l'inverse !

[ansset]

sans modèle predictif pas de bayésien.
en revanche tu as raison , le "que" de la deuxième phrase est une faute de frappe.
il faut lire "on ne peut ( pas ) faire du fréquentisme si n est trop petit." ( j'avais d'ailleurs précisé pas d'occurences suffisantes )

[Nicophil]

mouais bof... il faut savoir que cette question de l'interprétation des probabilités a agité le milieu scientifique au début du vingtième siècle, avec des gens comme Borel et von Karman, et puis Kolmogorov est arrivé et a mis tout le monde d'accord. Aujourd'hui les mathématiciens ne s'intéressent plus du tout à ça, il n'y a plus que les philosophes... qui eux peuvent gloser éternellement sur les mêmes questions (voir en particulier un texte tout-à-fait ridicule de Popper). Et encore une fois, les stats bayesiennes sont juste une méthode, il n'y a rien de rien de rien de philosophique là-dessous.

La dispute entre Jaynes et Popper (qui culmine dans les années 1960 et 1970) n'oppose évidemment pas deux mathématiciens. Mais deux épistémo-logues, deux méthodo-logues, deux logiciens, bref : deux philosophes des sciences.

[Nicophil]

- difficile par exemple de faire du "bayésien" quand on a pas de modèle de causalité

sans modèle predictif pas de bayésien.

Il s'agit de faire des prédictions malgré l'absence de modèle causaliste...

Mais en fait non : il ne s'agit pas de pré-voir, pré-dire un phénomène naturel, il s'agit de décrire, au présent donc, un état de connaissance (un état quantique par exemple).

[ansset]

exact, causalité est de trop.
( mais je ne pensais pas spécialement à la MQ )

[ansset]

Il s'agit de faire des prédictions malgré l'absence de modèle causaliste...
.

pas forcement en l'absence de modèle causaliste, non !
mais le mot est certes inutile
( Et je ne pensais pas spécialement à la MQ, )