La Science est elle toujours crédible ?

[Archi3]

Bonjour

en furetant sur le net à l'occasion d'un autre fil, sur les théories du complot, je suis tombé sur cet article qui me parait mériter un fil de discussion en soi. Si je comprends bien ses conclusions, il dit que le processus actuel de publication introduit des biais qui peuvent aboutir à la "canonisation" (un état où tout le monde pense que c'est vrai) de faux faits, par le fait qu'on prend comme "preuve" que c'est vrai le simple fait que d'autres disent que c'est vrai.

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5173326/

Il donne des références d'études montrant qu'un grand nombre de résultats publiés n'ont pas pu être répliqués, en particulier dans les domaines de la biologie, de l'économie et de la psychologie. Il mentionne entre autres un biais de publication, qui fait que les publications en faveur de la majorité ont plus de chances d'être publiées que les autres, ce qui augmente mécaniquement la présence d'une opinion dans la littérature, qui peut finir par devenir le standard de pensée même si elle est fausse.

Publication bias arises when the probability that a scientific study is published is not independent of its results (Sterling, 1959). As a consequence, the findings from published tests of a claim will differ in a systematic way from the findings of all tests of the same claim (Song et al., 2000; Turner et al., 2008).

Publication bias is pervasive. Authors have systematic biases regarding which results they consider worth writing up; this is known as the “file drawer problem” or “outcome reporting bias” (Rosenthal, 1979; Chan and Altman, 2005). Journals similarly have biases about which results are worth publishing.

Alors, faux problème, ou vrai problème ?
-----

[yves95210]

Salut,j

Alors, faux problème, ou vrai problème ?

Vrai problème, y compris selon certains dans des disciplines scientifiques habituellement moins soupçonnées d'être sujettes à ce genre de biais...
Lire par exemple :
http://backreaction.blogspot.com/201...al-impact.html
http://backreaction.blogspot.com/201...ur-biases.html
https://tritonstation.com/2018/10/04...-of-ignorance/

I have spelled out many times very clearly what theoretical physicists should do differently. It’s just that they don’t like my answer. They should stop trying to solve problems that don’t exist. That a theory isn’t pretty is not a problem. Focus on mathematically well-defined problems, that’s what I am saying. And, for heaven’s sake, stop rewarding scientists for working on what is popular with their colleagues.

I don’t take this advice out of nowhere. If you look at the history of physics, it was working on the hard mathematical problems that led to breakthroughs. If you look at the sociology of science, bad incentives create substantial inefficiencies. If you look at the psychology of science, no one likes change.

Developing new methodologies is harder than inventing new particles in the dozens, which is why they don’t like to hear my conclusions. Any change will reduce the paper output, and they don’t want this. It’s not institutional pressure that creates this resistance, it’s that scientists themselves don’t want to move their butts.

How long can they go on with this, you ask? How long can they keep on spinning theory-tales?

I am afraid there is nothing that can stop them. They review each other’s papers. They review each other’s grant proposals. And they constantly tell each other that what they are doing is good science. Why should they stop? For them, all is going well. They hold conferences, they publish papers, they discuss their great new ideas. From the inside, it looks like business as usual, just that nothing comes out of it.

(http://backreaction.blogspot.com/201...nation-in.html)

[Flyingbike]

Alors, faux problème, ou vrai problème ?

Vrai problème, et pas un petit problème.

Même à la petite échelle d'un laboratoire, ce qui est publié est souvent considéré comme une vérité incassable. Tout ce qui sera trouvé par la suite devra être conforme à cette "vérité", ou balayé sous le tapis...

[ThM55]

Bonsoir. Ce n'est pas un problème propre à la science, mais à toute forme de connaissance partagée. C'est bien connu en histoire, c'est justement pour cela qu'on a créé une discipline qui s'appelle la critique historique . La méthode scientifique a pour but et pour effet de combattre cela par une obligation de répétabilité des expériences et observations. Il me semble que l'étude dont vous faites mention est assez rassurante si j'en crois ses conclusions (je n'ai lu que le chapitre des résultats, je n'ai pas le temps d'étudier leur méthode). S'ils ont raison, la publication de résultats négatifs infirmant des résultats précédents a un effet bénéfique.

[A voir en vidéo sur Futura]

[Archi3]

Bonsoir. Ce n'est pas un problème propre à la science, mais à toute forme de connaissance partagée. C'est bien connu en histoire, c'est justement pour cela qu'on a créé une discipline qui s'appelle la critique historique . La méthode scientifique a pour but et pour effet de combattre cela par une obligation de répétabilité des expériences et observations. Il me semble que l'étude dont vous faites mention est assez rassurante si j'en crois ses conclusions (je n'ai lu que le chapitre des résultats, je n'ai pas le temps d'étudier leur méthode). S'ils ont raison, la publication de résultats négatifs infirmant des résultats précédents a un effet bénéfique.

oui mais justement, l'étude montre que les résultats négatifs sont moins publiés que les positifs, ce qui biaise la discussion.
j'ai bien connu une ex-thésarde en biologie, dont les recherches étaient partiellement financées par une association, et il était bien clair que pour son laboratoire, elle "devait" trouver un résultat positif pour continuer à avoir des subventions ... quitte à trafiquer les barres d'erreurs (je ne mens pas).

[Nicophil]

Bonjour,

car c'est le fonctionnement collectif qui forge la méthode et qui construit peu à peu l’objectivité.

Si une communauté n'applique pas la méthode scientifique, alors un éventuel consensus qui peut émerger en son sein peut ne pas être crédible.

[f6bes]

Bjr à tous,Aie, aie,aie,
Ce qui entraine n nous ment , nous cache tout et autres ...... du meme genre !
Bonne soirée

[JPL]

La communauté des spécialistes d’un domaine ne se limite pas à la population d’un laboratoire qui utiliserait des pratiques peu honnêtes. Un résultat qui n’est jamais retrouvé par d’autres voire carrément contredit ne survivra pas longtemps. On en a eu divers exemples retentissants récents.

[Archi3]

Ca c'est ce que tout le monde aimerait croire, mais sur un modèle qui vaut ce qu'il vaut, l'article donné en premier prouve que ce n'est pas forcément le cas....

[JPL]

L’auteur construit un modèle mathématique fondé uniquement sur les publications mais en réalité les choses sont nettement plus nuancées. Je ne nie pas que des biais de publication divers existent mais les échanges scientifiques ne se limitent pas à cela. À côté existent des congrès, colloques et séminaires divers grâce auxquels des collègues de divers horizons vont pouvoir poser des questions ou présenter des objections, ce qui peut orienter leurs travaux sur la même voie… ou dans une voie différente s’ils n’ont pas été convaincus. Cette activité moins formalisée que les publications joue un rôle non négligeable dans la circulation et l’évolution des idées.

Il se peut que des théories "canonisées" pour reprendre l’expression de l’article mettent quelques années à être renversées, j’en ai connu des exemples, mais cela finit toujours par arriver, même si dans certains cas cela peut prendre beaucoup de temps. La perfection n’est pas de ce monde, y compris le monde de la recherche.

[karlp]

Bjr à tous,Aie, aie,aie,
Ce qui entraine n nous ment , nous cache tout et autres ...... du meme genre !
Bonne soirée

Bonjour

Il existe peut-être un juste milieu entre le complotisme et l'aveugle soumission à l'argument d'autorité.
Thomas Kuhn avait effectivement recensé les causes et conditions qui conduisent un paradigme dominant à accepter quelques "compromis" avec la démarche scientifique (et je ne crois pas qu'il était "complotiste")

[Archi3]

L’auteur construit un modèle mathématique fondé uniquement sur les publications mais en réalité les choses sont nettement plus nuancées. Je ne nie pas que des biais de publication divers existent mais les échanges scientifiques ne se limitent pas à cela. À côté existent des congrès, colloques et séminaires divers grâce auxquels des collègues de divers horizons vont pouvoir poser des questions ou présenter des objections, ce qui peut orienter leurs travaux sur la même voie… ou dans une voie différente s’ils n’ont pas été convaincus. Cette activité moins formalisée que les publications joue un rôle non négligeable dans la circulation et l’évolution des idées.

et les colloques peuvent aussi être un lieu où les errances collectives se renforcent mutuellement ...

Il se peut que des théories "canonisées" pour reprendre l’expression de l’article mettent quelques années à être renversées, j’en ai connu des exemples, mais cela finit toujours par arriver, même si dans certains cas cela peut prendre beaucoup de temps. La perfection n’est pas de ce monde, y compris le monde de la recherche.

n'empêche que la conclusion est que l'état du "consensus" à l'instant t n'est pas forcément l'état final ...

[Deedee81]

Salut,

Ca me rappelle un colloque sur la cosmologie il y a une vingtaine d'années ou les scientifiques en étaient venus au mains !!!!!! C'est ce qu'on appelle "le choc des idées"
La science est toujours crédible mais la science est faites par des humains avec leurs faiblesses

Sinon je suis d'accord avec la remarque sur "vrai problèmes". A noter que j'ai lu pas mal de choses là-dessus et que le soucis varie fortement selon les disciplines. La discipline la plus problématique étant la biologie, à confirmer (j'ai lu qu'il y avait énormément de publications où les données et leur analyse étaient insuffisants ou biaisés).

Il faut donc constamment rester vigilant.... enfin, en tant que scientifique ou lecteur des articles, pas sur Futura Forums, bien sûr, dont ce n'est ni le rôle ni la ligne éditoriale.

[invite5fc1946d]

Il donne des références d'études montrant qu'un grand nombre de résultats publiés n'ont pas pu être répliqués, en particulier dans les domaines de la biologie, de l'économie et de la psychologie.

Pour la biologie je trouve ça étonnant. Par contre en ce qui concerne l'économie et la psychologie et plus généralement les sciences humaines, ça ne me parait absolument pas étonnant.

De là à en conclure qu'il faut douter de toute la Science et de la crédibilité de toutes les publications scientifiques, ça me parait un peu faire un raisonnement de généralité abusive. Car on est d'accord que c'est bien là où tu veux en venir ?

[invite5fc1946d]

Pour la biologie je pense qu'il y a aussi le fait que beaucoup d'études sont victimes du faux positif comme le démontre très bien cet article : https://sciencetonnante.wordpress.co...ique-est-vrai/

C'est vrai que le seuil de valeur p=0.05 qui fait la pluie et le beau temps dans les publications scientifiques est arbitraire. Réduire cette valeur, réduirait la part de hasard dans les résultats.

[Deedee81]

Pour la biologie je pense qu'il y a aussi le fait que beaucoup d'études sont victimes du faux positif comme le démontre très bien cet article :

D'accord, oui, merci, c'est ce que j'avais lu en effet. Je m'en rappelle maintenant.

[invite452d5a24]

Bonjour,

une vidéo de science4all sur le sujet :

[Archi3]

Un beau mélange de probabilités bayesiennes auxquelles personne ne comprend rien, confinant à la sodomisation de diptères, de remise en cause du système de publications à référé, de complotisme sur le milieu académique.... c'est du joli tiens !!!

ou alors, un morceau trop rare de vraie science ...

[Deedee81]

Moi ça m'énerve, je n'ai pas le son.

Ceci dit science4all a bonne réputation..... mais ça ne veut pas dire que sa vidéo est correcte (faut voir aussi s'il ne parle pas de biologie, j'avais vu aussi que le nombre de faux positifs était effarant). Méfiance.
EDIT grumpf, retrouve pas la référence, c'était dans La Recherche ou Pour La science mais il y a une vraie étude derrière, enfin, encore faut-il la retrouver.

[Archi3]

en tout cas de ce que j'ai compris moi du sujet, c'est parfaitement correct, mais il se peut qu'on partage les mêmes défauts .

[Deedee81]

en tout cas de ce que j'ai compris moi du sujet, c'est parfaitement correct, mais il se peut qu'on partage les mêmes défauts .

Oui, mais il parlait de quels types de publications ? (parce que si c'est des publications sur des statistiques sur le poker, je ne me prononce pas )

[Archi3]

Il parle de la façon dont une publication modifie ton estimation (bayesienne) de la probabilité associée à différentes hypothèses; donc c'est assez général , et ça touche au mécanisme de formation des croyances (ce qui est à mon avis la bonne approche pour traiter ce problème).

En gros une fois que tu as lu une publication, ou un résumé de publication, qu'est ce que ça doit changer dans ton esprit ?

Ce qu'il montre c'est que comme toute nouvelle information, ça produit une réévaluation bayesienne dans ton esprit. Mais il fait bien remarquer que la réévaluation bayesienne :
a) doit tenir des probabilités initiales (prior) : c'est à dire que si l'article par exemple remet en cause quelque chose qui semblait très probable, il peut augmenter la probabilité que cette hypothèse soit fausse, mais ça ne veut pas dire qu'il rende certain ou meme très probable : ça dépend de sa probabilité de départ. Par exemple un résultat remettant en cause la relativité restreinte doit être extrêmement certain pour contrebalancer un prior très faible (manière de quantifier l'adage : extraordinary claims require extraordinary evidence)

b) dans la mesure où le fait constaté est une publication, la réévaluation bayesienne doit aussi tenir compte des biais conduisant à une publication : par exemple si on a plus tendance à publier quelque chose de "nouveau" (ou au contraire quelque chose de "conventionnel"), cela diminue la probabilité que la publication d'un résultat "nouveau" soit juste (ou inversement que la publication d'un résultat conventionnel soit juste).

Pour résumer une publication ne "prouve" rien du tout, elle ne fait que réévaluer une probabilité, mais il faut tenir compte de tous les biais potentiels associés. Evidemment plein de publications allant dans le meme sens vont augmenter considérablement la vraisemblance (sans supprimer totalement néanmoins la probabilité d'une erreur collective !). Mais en général , il faut prendre la publication d'un article comme un évènement en soi (différent de l'évènement qui le sujet de l'article !! ) et s'interroger sur la probabilité de cet évènement "publication" dans les différentes hypothèses.

Pour prendre un exemple concret : un article voulant confirmer une théorie de Lyssenko publié en Union soviétique en 1950 aurait beaucoup moins de signification que le même article publié aux US en 1980 : la réévaluation bayesienne serait bien moins forte pour dire que l'article est probablement juste.

un article ne serait une "preuve" que si tu estimais, dans ta probabilité bayesienne, que la probabilité qu'un article faux soit publié est nulle. Mais ce n'est pas le cas, et il arrive à la conclusion qu'on peut expliquer "normalement " que la plupart des articles dans certains domaines ...puissent être faux.

[invite5fc1946d]

Je ne connais pas ce bonhomme et ne voudrait pas juger toutes ses vidéos sur une phrase, mais je me suis arrêté à 1'40 quand il dit :

"tous les modèles sont faux, sauf mon modèle qui est utile pour être sceptique des publications scientifiques"

[invite51d17075]

Oui, mais il parlait de quels types de publications ? (parce que si c'est des publications sur des statistiques sur le poker, je ne me prononce pas )

il parle en général d'études s'appuyant sur des statistiques bayésiennes à priori valable ( le fameux p-value < 5% ) et pouvant se révéler néanmoins erronées pour diff raisons.
je note quand même deux passages intéressants. il mentionne qu'il faut ( malgré ce fait )
- se méfier encore d'avantage de sa propre intuition ( à savoir de nos propres biais ).
- qu'il faut différentier ce qui fait l'objet d'un consensus actuel de ces remarques sur les vrais/fausses "études".

[Archi3]

Je ne connais pas ce bonhomme et ne voudrait pas juger toutes ses vidéos sur une phrase, mais je me suis arrêté à 1'40 quand il dit :

"tous les modèles sont faux, sauf mon modèle qui est utile pour être sceptique des publications scientifiques"

On doit pas avoir vu la même vidéo, puisque je n'ai pas du tout entendu ça dans la video. C'est peut etre ce que tu en as (incorrectement) compris, mais ce n'est pas ce "qu'il dit".

[mach3]

Je ne connais pas ce bonhomme et ne voudrait pas juger toutes ses vidéos sur une phrase, mais je me suis arrêté à 1'40 quand il dit :

"tous les modèles sont faux, sauf mon modèle qui est utile pour être sceptique des publications scientifiques"

Non, il ne dit pas ça du tout. Il dit, je cite :

Je vous propose d'étudier un modèle très simplifié des publications scientifiques. Bien-sur ce modèle est beaucoup trop simplifié pour être lui-même vraiment descriptif des sciences, mais bon, tout les modèles sont faux, et surtout il me semble que celui que l'on va étudier est néanmoins utile pour estimer le scepticisme adéquat à avoir envers une publication scientifique.

Il autocritique son modèle avant de l'exposer, c'est plutôt sain.

m@ch3

[invite5fc1946d]

Non, il ne dit pas ça du tout.

Un peu quand même si. Ca revient au même de ce que je viens de dire. "Tous les modèles sont faux, mais je vais en utiliser un quand même"

C'est peut être pas ce qu'il a voulu dire, mais la tournure de phrase est dans ce cas très maladroite. Déjà quand j'entends "tous les modèles sont faux" j'ai failli avaler de travers mon café.

[Archi3]

Un peu quand même si. Ca revient au même de ce que je viens de dire. "Tous les modèles sont faux, mais je vais en utiliser un quand même"

C'est peut être pas ce qu'il a voulu dire, mais la tournure de phrase est dans ce cas très maladroite. Déjà quand j'entends "tous les modèles sont faux" j'ai failli avaler de travers mon café.

pourquoi qu'est ce qui te gêne dans le fait de dire que "'tous les modèles sont faux" ? les modèles sont par essence une simplification de la réalité, donc sont tous faux quelque part non ?

et "faux" n'est pas le contraire de "utile".

[invite5fc1946d]

Je dois être trop habitué à discuter avec des climato-complotistes anti-GIEC et anti-modèles, déformation cognitive de ma part, ça doit être ça en effet ^^

[Archi3]

Je ne vois vraiment pas ce que ça peut vouloir dire que d'être "anti-modèles" ; tu vois bien que l'auteur de la video reconnait que son modèle est approximatif, mais néanmoins utile : reconnaitre les limites d'un modèle, ce n'est pas être "anti-modèle" !