Significativité des Pvalue d'interaction dans les articles en biologie

[Anetheron]

Bonjour,

Petite question assez spécifique, qui a peut-être plus sa place dans la section mathématiques, mais je tente ma chance ici!
J'ai remarqué que dans des articles en biologie, tous domaines confondus, certains auteurs utilisent un seuil de Pvalue différent pour juger de la significativité de l'effet d'un facteur ou de l'interaction entre deux facteurs. Le seuil est fixé à 0,05 pour les facteurs, mais à 0,10 pour l'interaction.

Deux exemples:

Genetic risk score and adiposity interact to influence triglyceride levels in a cohort of Filipino women, par Zubair et al., Nutrition & Diabetes (2014) 4, e118; doi:10.1038/nutd.2014.16

For regression analyses we used a statistical significance criteria of P<0.05 (two sided). For interaction terms we considered P<0.1 as nominally significant.

Systemic Infection Generates a Local-Like Immune Response of the Bacteriome Organ in Insect Symbiosis, par Masson et al., J Innate Immun 2015;7:290-301 (DOI:10.1159/000368928)

The effect of a factor was considered to be significant with a p value <0.05. For models with a significant interaction between the factors ‘treatment’ and ‘time’ (interaction p value <0.1) [...]

Je ne parviens pas à trouver dans les bases de données une justification quelconque à cette différence de traitement entre les facteurs et leur interaction. Quelqu'un aurait-il une explication, ou mieux encore une publication qui l'explique avec démonstration à la clé?

Merci beaucoup par avance!
-----

[Loupsio]

Considère que si la personne prend 0.1, c'est un mauvais chercheur x)

Enfin disons qu'elle se soucie plus de son hypothèse que de la réalité,
la norme est 0.05 (notée '*' sur les graphes, ensuite encore mieux on prend 0.01 noté '**' sur les graphs, et 0.001 noté '***' sur les graphs)
quand la personne est triste que son truc soi pas significatif, elle prend un seuil plus élevé histoire de pour voir ecrire :c'est significatif au risque de 10%

en gros ya 10% de chance que ce qu'elle voit soi du au hasard et pas a un quelconque effet réel... c'est beaucoup trop élevé comme risque, et c'est juste pour que "ca marche comme on le voulais"

[Hrshtsr]

@Loupsio tu dis un peu n'importe quoi pour le coup, prendre une p-value plus importante peut avoir un intérêt, ce n'est pas juste un truc de mauvais chercheur. Et tu peux émettre une hypothèse avec une p-value de 0.2 qui s'avère pourtant vraie, les feux positifs et faux négatifs ça arrive.

Pour ma part je pense qu'il y a une plus grande imprécision sur les interactions simplement du fait du nombre de facteurs qui sont pris en compte qui sont plus importants (un peu comme quand on calcule les risques d'incertitude en chimie / physique liés à nos mesures ou à nos appareils). Enfin pour le coup c'est une hypothèse que j'émets avec une p-value de... 0.3 ? ;p

[Loupsio]

@Loupsio tu dis un peu n'importe quoi pour le coup

Va dire ca à mon prof de stat qui (bon les propos du message précédent on un peu été mixé avec mon avis personnel certes,) nous avais tenu à l'époque ces quelques mots : "en réalité il n'y a pas de norme, je comprend pas pourquoi tout le monde utilise tout le temps 0.05, on peut prendre la pvalue qu'on souhaite, il est meme possible de prendre une pvalue de 0.5 si on le souhaite, seulement plus celle ci est haute, plus on voit le manque de rigueur du chercheur et le rapport d'importance qu'il accorde entre son hypothèse et la réalité"

Bon ok, il était moins direct que je ne l'ai été dans mon message précédent, (ou plus diplomate) mais le résultat est le même, et c'est pas si "n'importe quoi" que ca, comme tu le penses (bon d'accord c'est mal d'avoir un avis aussi tranché que celui émis au post d'avant), mais plis tu augmente le risque de première espèce, plus ce que tu vois va s'éloigner de la réalité
n'oublions pas que la pvalue représente en quelque sorte une simulation du hasard, "la probabilité a laquelle on peut avoir ces résultat, uniquement du au hasard, et sans aucun réel effet facteur"
un risque a 10% c'est beaucoup trop haut pour pouvoir etre pris au sérieux,

si plusieurs (8-10) personnes jettent 30x un dé dans le lot la probabilité qu'une personne tombe sur une série de chiffres qui viendrait infirmer le fait qu'on a une égalité de propa pour chaque face est grande

j'ai fait plusieurs simulation aléatoire d'une sequence de 30 valeurs de 1 a 6 juste à l'instant, et à la 7eme simulation, le test de conformité a une moyenne indiquait une pvalue de 0.12
(une fois sur 7 lancés aléatoire c'est tout de meme beaucoup) et quelqu'un qui aurait choisi comme tu le suggère une pvalue de 0.2 aurait pu crier vctoire, affirmant solidement que son test statistique affirme que le facteur qu'il imaginait a bel et bien un effet au risque 0.2, alors que il s'agit bien ici du hasard qi est la cause de ce résultat

Et les rares personnes que j'ai vu choisir des pvalue superieur a 0.05, elles étaient dans un état d'esprit "Ah mince ca colle pas, c'est pas significatif, ya pas d'effet du facteur,, bon bah je vais refaire les test avec un risque plus élevé"
Et si on part dans cette optique là, à ce moment là on voit ce qu'on veut voir uniquement

"hum 0.1, je vois rien non plus? tentons 0.2,... non plus? bon bah 0.3...Miracle il y a bel et bien un effet" (oui mais le hasard te rend des résultat similaire quasiment une foi sur 3, rien ne prouve que c'est vriament ton efet supposé qui est la cause....

[A voir en vidéo sur Futura]

[Hrshtsr]

Un risque à 10% c'est pas si énorme non plus sachant qu'en biologie on est face à des systèmes complexes. Tout dépend du contexte, de ce que tu regardes, de la taille de ton échantillon, de comment tu as obtenu tes résultats, des techniques utilisées, des biais que tu as. Et ton hypothèse n'est pas validée dans tous les cas même si le risque alpha est de 0.05. Tu as toujours 5% de te tromper.

Déjà faut réfléchir à quel test tu as utilisé pour attribuer une valeur stat à ton hypothèse, et ça à part les matheux qui voient ça à partir de la L3 et les biostatisticiens qui voient ça en master, appliquer un test sans savoir de quoi il est composé ça pue du boudin.

Avec un jeu de données tu peux faire dire tout et son contraire à tes données en jouant sur la manière dont tu énonces ton hypothèse et quel test tu utilises, et sans compter la sélection même des données qui te permet de biaiser à mort tes résultats pour leur faire dire ce que tu veux qu'elles disent.

Puis franchement pour connaitre de quelle manière les postes d'enseignants en stats/bioinfo sont attribués en L1/L2, à moins que ton prof ait un master en bioinfo/biostats, le simple fait qu'il soit prof ça n'a pas de valeur pour moi désolée

[Loupsio]

Oui mais en biologie il y a des tas d'autres facteur incontrolés qui entrent en jeu et font varier les résultats donc a un moment si on veut dire quelquechose de sérieux, faut éviter de multiplier les approximations au maximum en se disant que "peut etre" ce qu'on voit existe vraiment
bien sur ca marche dans les deux sens et peut être qu'en prenant a 0.05 on peut passer a coter de certaines choses, mais quand on trouve quelque chose on est beaucoup plus confiant sur la véracité du fait qu'il y a vraiment quelque chose, que lorsqu'on "voit" un effet avec un risque élevé
Et je pense qu'il vaut mieux passer a coté de quelque chose, que d'affirmer "ca marche c'est ca" et d'être catégorique, alors qu'il y un grand risque de se tromper, mais que derrière les gens disent "nan mais ca tu le considère comme acquis ca a été prouvé dans tel article",

Si on veut que nos recherche soient réutilisées par d'autres personnes, et qu'elles leurs soient utiles, faut être sur de ce qu'on avance afin de pas induire les autres équipes en erreur sachant qu'elles vont suivent aveuglément notre travail sans refaire les manip dans la grande majorité des cas.

Et ton hypothèse n'est pas validée dans tous les cas même si le risque alpha est de 0.05. Tu as toujours 5% de te tromper.

Tout a fait d'accord, c'est pour ca que les test a 5%... bon si en plus l'hypothèse derrière se tiens... bon on continue et on considère que c'est bon, mais je trouve que ca reste a prendre avec des pincettes, mais disons que c'est une limite acceptable,
si on continue comme ca, au risque alpha = 0.01, il reste toujours 1% de risque et ce risque existe bel et bien ^^ on peut "voir" quelque chose qui n'existe pas, meme si on prend un risque a 1% mais a un moment on ne peut jamais etre sur a 100% faut faire des concessions sur le niveau de risque, c'est juste que mettre le risque a 10% c'est (selon moi bien entendu, chacun voit midi a sa porte) déjà faire beaucoup trop de concessions

Puis franchement pour connaitre de quelle manière les postes d'enseignants en stats/bioinfo sont attribués en L1/L2, à moins que ton prof ait un master en bioinfo/biostats, le simple fait qu'il soit prof ça n'a pas de valeur pour moi désolée

Le simple fait que c'était un enseignant de master (en plus de L1/L2/L3) me laisse penser qu'il a un Master (on laisserai pas quelqu'un qui n'a pas de master enseigner a des gens en master j'ose espérer ), mais le fait que de toute façon il soit enseignant chercheur, signifie de toute facon qu'il a un doctorat... (enfin je connais pas les cursus relatifs aux math, mais je pense que ca marche pareil)

Avec un jeu de données tu peux faire dire tout et son contraire à tes données en jouant sur la manière dont tu énonces ton hypothèse

totalement d'accord, c'est pourquoi je pense qu'il n'est pas utile d'en rajouter une couche en prenant des risques trop élevé histoire de faire encore plus ce que l'on veut

[Anetheron]

Merci pour vos réponses.

Loupsio, j'ai peur que comme le soulève Hrshtsr ça soit un peu plus compliqué que ça. Je pose la question suite à ma review d'un article dans lequel les auteurs ont fait ce choix de prendre deux seuils, un pour l'effet des facteurs et un pour celui de l'interaction. Cela m'a bien sûr intrigué, donc j'ai vérifié leurs p-values dans les supplementary pour voir si effectivement ils cherchaient à faire passer un résultat qui ne leur convenait pas. Or (et je t'avoue que j'ai été un peu surpris!) toutes leurs p-values d'interaction sont soit inférieures à 0,05, soit supérieures à 0,10, autrement dit le choix d'un seuil à 0,05 ou 0,10 ne changeait absolument rien à l'interprétation des données. Ce qui signifie que leur choix a bien été fait à priori, donc motivé par une raison indépendante des données chiffrées.

La p-value à 0,05 est tellement ancrée dans la culture scientifique en biologie que je doute qu'un article dans lequel les auteurs ont passé le seuil à 0,10 arbitrairement passe sans encombres à la review dans n'importe quel journal un tant soit peu sérieux, au moins pour la significativité de l'effet des facteurs.

Enfin pour revenir au sujet original, j'ai eu quelques informations supplémentaires qui rejoignent un peu l'hypothèse du deuxième post. L'effet des interactions est effectivement plus difficile à détecter que celui des facteurs, d'où le choix de certains auteurs de relever le seuil pour réduire les faux-négatifs. La contrepartie est évidemment une augmentation du risque de faux-positif, ce qui fait de la fixation du seuil un choix personnel dépendant du type de risque que l'auteur préfère prendre. De ce que j'ai pu voir en farfouinant un peu sur les bases de données, ça se fait surtout dans le domaine biomédical (et encore, pas très fréquemment), et plutôt sur de petits jeux de données. Il me semble aussi que les équipes publiant des résultats avec les deux seuils le font de façon systématique dans tous leurs articles, je suppose donc que c'est quelque chose qui dépend de la "culture" du laboratoire ou de l'équipe.

[Loupsio]

Tant mieux si leur test passerai a 0.05 aussi, c'est bon signe mais ca reste très elevé et risqué d'utiliser 0.1
et dans le cas ou ca passe a 0.1 mais pas a 0.05, on peut se poser la question de la réalité de l'effet,

Je trouve moins grave de faire face a une erreur de deuxieme espèce qu'a une erreur de première espèce quand on est en science et que nos recherches ont un impact a quelque niveau que ce soit

La p-value à 0,05 est tellement ancrée dans la culture scientifique en biologie que je doute qu'un article dans lequel les auteurs ont passé le seuil à 0,10 arbitrairement passe sans encombres à la review dans n'importe quel journal un tant soit peu sérieux, au moins pour la significativité de l'effet des facteurs.

Tu serai surpris du nombre de fois qu'on peut trouver des trucs a 0.1 (bien qu'en majorité cela soit tout de meme 0.05)
Une connaissance m'a d'ailleur raconté que dans le labo ou elle travaille, face au fait que le test n'était pas significatif, le boss du labo lui avait dit de refaire le test a 0.1, que c'était comme ca qu'il avait toujours fait quand ca marchait pas a 0.05 et que ca passait beaucoup mieux (pas dans le sens passer mieux en peer review, mais passer beaucoup mieux dans le sens ou il "trouve" plus de trucs)

d'où le choix de certains auteurs de relever le seuil pour réduire les faux-négatifs

oui mais difficile de réduire les faux négatifs sans augmenter les faux positifs de l'autre coté, et ca revient a ce que je disais juste avant, je pense qu'en science une erreur de seconde espèce a moins de contrecoups qu'une erreur de premiere espèce, et donc qu'il vaut mieux ne "rien voir" quand il y a bien un effet, que de "voir" la ou en fait il n'y a rien, pour éviter de se baser par la suite sur des affirmations erronées

[Hrshtsr]

Tant mieux si leur test passerai a 0.05 aussi, c'est bon signe mais ca reste très elevé et risqué d'utiliser 0.1

C'est ça que tu comprends pas : des fois tu emets des hypothèses et tu dis que TES résultats, TE permettent de dire ci ou ça avec TEL risque. Même si ton risque est élevé, ton hypothèse n'est pas forcément débile et tu as peut-être juste pas eu de bol en récoltant tes données. Peut-être que tu as utilisé un produit qui marchait mal sur tes cellules et qui a pourri tes résultats, peut-être que la souche sur laquelle tu travaillais n'était pas idéale ou quelle était contaminée aux mycoplasmes. Peut-être que tu as étudié une population de fourmi mais que tu n'as pas vu que ces fourmis luttaient contre un champignon qui les décimaient. Peut-être que tu as confondu 2 espèces différentes mais avec le même phénotype qui ont fait que ton hypothèse s'avère fausse. Mais d'autre peuvent observer ton hypothèse et creuser en se basant sur tes résultats.

Tu peux aussi dire ok j'ai obtenu tels résultats pour cette hypothèse, et avec un alpha de 0.3 et dire dans ton article que tu vas essayer de préciser tes manips, que tu vas émettre d'autres hypothèses.

Quand tu publies un article tu ne cherches pas forcément à prouver quelque chose, parfois tu fais juste un constat. Nos recherches n'ont pas forcément des impacts de oufs et certains n'hésitent pas à publier des trucs inventés de toute part avec des données inventées également.

En soi pour ma part j'ai moins de crainte avec quelqu'un qui modifie les seuils de ses tests afin de pouvoir continuer à travailler sur ses données et préciser son truc avec le temps que de quelqu'un qui retire toutes les valeurs un peu trop loin de la moyenne pour se trouver une p-value bien jolie : sauf que ça tu le vois pas forcément dans la publi.

Bref Loupsio, essaye de tempérer tes propos et de prendre un peu de recul, en biologie rien n'est si catégorique.

[Loupsio]

En soi pour ma part j'ai moins de crainte avec quelqu'un qui modifie les seuils de ses tests afin de pouvoir continuer à travailler sur ses données et préciser son truc avec le temps que de quelqu'un qui retire toutes les valeurs un peu trop loin de la moyenne pour se trouver une p-value bien jolie : sauf que ça tu le vois pas forcément dans la publi.

J'ai moins de craintes quand quelqu'un dit que son test n'est pas significatif mais qu'il y a une tendance a l'augmentation (ou a la diminution), qu'en quelqu'un qui prend un seuil élevé pour etre sur de voir ce qu'il veut voir, dejà 0.1 et 0.2 je trouve ca un peu provocateur, mais 0.3, c'est autant inventer des valeurs... tu vois tout et n'importe quoi a ce niveau, et si tu le vois pas du premier coup, tu ré-echantillonne une ou deux fois (pour avoir bonne conscience en se disant que ce sont des vraies valeurs et pas des valeurs inventées) et tu tombe sur ce que tu souhaitais.

Je ne dis pas que si ce n'est pas significatif il doit abandonner ses recherche, il peut refaire les mnaip, changer quelques truc dans son protocole pour l'ameliorer, etre plus précis..., mais pas publier avec ca en disant qu'il y a un effet,
au moins refaire les test (bio, pas juste test stat), et les préciser pour mieu mettre en avant l'effet si il y a autre chose qui interfère

bref je préfère une erreur de deuxieme espèce quitte a dire qu'il y a "une tendance a...... qui est non significative" plutot que d'augmenter un seuil et voir ce que la personne veut voir avec une erreur de première espèce

Après... divergence d'avis, on a tous donné notre point de vue, je pense qu'il est inutile d'aller plus loin

[minushabens]

Bonjour,

je pense qu'il n'y a pas de base rationnelle pour considérer une interaction significative au seuil de 0.1, mais le choix du seuil de 0.05 n'en a pas plus.

Mon interprétation est qu'en général les interactions on n'en veut pas (puisqu'en présence d'une interaction on ne peut pas simplement interpréter l'effet principal) et donc ce choix du seuil de 0.1 est en quelque sorte "conservatif" : il va à l'encontre des intérêts des auteurs.

Une chose que peu d'auteurs font mais qui devrait être systématique, c'est une correction des P-value en cas de comparaisons multiples, et en pratique on fait toujours des comparaisons multiples (en d'autres termes, on regarde plusieurs contrastes).

[Loupsio]

Une chose que peu d'auteurs font mais qui devrait être systématique, c'est une correction des P-value en cas de comparaisons multiples, et en pratique on fait toujours des comparaisons multiples (en d'autres termes, on regarde plusieurs contrastes).

Oui, après la plupart des logiciels le font tout seul ca maintenant normalement, quand le logiciels fait les comparaison multiples d'un coup d'un seul, a moins de faire tout ses test manuellement, il doit y avoir des fois ou les gens précisent pas qu'ils s'agit d'une pvalue corrigée, car le logiciel le fait tout seul e ils utilisent une pvalue corrigée sans meme le savoir