Crédibilité d'une expérience avec un petit échantillon

[Dreiyan]

Salut à tous,

Je viens de lire un article dont je dois bientôt faire la présentation devant une classe, et j'aimerai votre avis.
Voici dans les grandes lignes le thème de l'article : une irrigation alternative successivement de chaque moitié des racines d'une plante réduirait sa consommation en eau, et également dans une moindre mesure sa productivité.
En pratique : on arrose une fois la moitié droite des racines de la plante, une fois la moitié gauche. En labo, les deux parties du pot sont séparés par un film plastique avant l'implantation de la graine de sorte à ce que les racines se développent des deux côtés.
Le principe sur lequel se base l'expérience est le suivant : la moitié irriguée transmet de l'eau à la plante, tandis que la moitié non irriguée se croit en situation de sécheresse et envoie des signaux de stress aux feuilles, qui vont fermer leurs stomates et réduire leur transpiration. On a donc une baisse du besoin en eau, et l'idée est d'appliquer cela à des cultures.
L'article en question étudie l'impact de cette méthode d'irrigation sur l'approvisionnement en nitrate. Il montre que l'impact est positif sous certaines conditions de taux de fertilisation (aux engrais azotés) et de quantité d'irrigation, et confirme en outre la plus faible consommation d'eau.

Jusque là tout va bien. Sauf quand un jette un oeil sur l'expérience proprement dite : en tout, 12 traitements différents ont été utilisés (selon le type d'irrigation, la quantité d'eau, d'engrais). Et chaque traitement a été répliqué... trois fois. Je suis tombé des nues quand j'ai lu ça. Comment peut-on estimer crédible une expérience répétée que trois fois? Comment un tel papier a pu se retrouver publié?

Les auteurs ont bien pratiqué des analyses statistiques pour étudier la viabilité de leurs résultats : analyses de la variance et comparaison des moyennes avec le "Duncan's multiple range test".
J'avoue que j'ai du mal avec les concepts statistiques, mais il ne me semble pas qu'un test puisse exclure que les résultats d'une expérience répétée que trois fois puisse être dus au hasard pur et simple.

Voila, j'aimerais bien votre avis sur la question.

Merci d'avance
-----

[Dreiyan]

Up!

Tout avis est le bienvenu.

[fabien.che]

Comment un tel papier a pu se retrouver publié?

Il y a même des papiers qui sortent sans que des tests statistiques aient été réalisés.

Les auteurs ont bien pratiqué des analyses statistiques pour étudier la viabilité de leurs résultats : analyses de la variance et comparaison des moyennes avec le "Duncan's multiple range test".
J'avoue que j'ai du mal avec les concepts statistiques, mais il ne me semble pas qu'un test puisse exclure que les résultats d'une expérience répétée que trois fois puisse être dus au hasard pur et simple.

L'expérience a été répétée trois fois avec combien d'échantillons à chaque fois ?

Et puis, avec les stats, on exclue pas non plus tout à fait le hasard, en général, il reste toujours 5% de chance pour que l'effet en question soit lié au hasard.

[Dreiyan]

Merci de ta réponse.

L'expérience a été répétée trois fois avec combien d'échantillons à chaque fois ?

C'est bien là le problème... l'expérience a été répliquée trois fois, c'est-à-dire que chacun des 12 traitements différents a été fait trois fois, dans trois pots différents, avec deux plantes par pot. Donc six plantes.

[A voir en vidéo sur Futura]

[fabien.che]

Si j'ai bien compris ça fait, par condition, N = 18, avec 3 expériences différentes à n₁ = 6, n₂ = 6 et n₃ = 6.

C'est pas si mal déjà. On ne peux pas non plus passer 10 ans à refaire l'expérience.

[kamor]

Il est vrai que c'est toujours mieux d'avoir plein d'échantillons. Mais ça coute des sous. Déjà pour les avoir, pour les entretenir, puis ensuite pour faire les analyses. Beaucoup de manips sont limités par cet aspect bassement matériel, mais ça fait aussi partie des problèmes de la recherche

[Dreiyan]

Si j'ai bien compris ça fait, par condition, N = 18, avec 3 expériences différentes à n₁ = 6, n₂ = 6 et n₃ = 6.

Non, non, désolé si j'arrive vraiment pas à être clair. Ca fait en tout et pour tout N = 6 par condition.

Il est vrai que c'est toujours mieux d'avoir plein d'échantillons. Mais ça coute des sous. Déjà pour les avoir, pour les entretenir, puis ensuite pour faire les analyses. Beaucoup de manips sont limités par cet aspect bassement matériel, mais ça fait aussi partie des problèmes de la recherche

Tout à fait, je peux comprendre la limitation des moyens d'autant que le papier vient d'un institut chinois. Mais ça n'empêche pas à mon avis que les résultats doivent être pris avec beaucoup de précautions.

[noir_ecaille]

Un résultat est d'autant plus crédible qu'il est reproductible.

Avoir plusieurs vérifications par des labos différents, non seulement augment l'échantillon statistique, mais diminue d'autant le risque d'une fraude/falsification.

Un aussi petit échantillonnage est provoquant et ça démange le neurone de la vérification -- à dessein ?

[gorben]

Heu... vous repetez vraiment plus de 6 fois toutes vos manips???

Non parce que bon pour ma part je repete 3/4 fois puis je calcule l'erreur type et basta.
Il y a certains cas ou la manip doit etre repetee sur des centaines d'echantillons, mais la si ils observent une difference nette, je vois pas trop ou est le probleme. Est ce qu'ils donnent les resultats des tests statistiques?

Bref 6 fois c'est quand meme deja pas mal, surtout si ils comparent 12 conditions !

Tu peux toujours dire que plus aurait ete mieux (c'est toujours le cas, meme dans les etudes humaine sur 10000 patients), mais bon il ne faut pas etre trop irrealiste non plus.
Il y a des papiers bien pire, ou les conclusions se font sur une seule manip, les tests statistiques ne sont pas montres, etc...

[LXR]

D'autant plus qu'en biologie désormais un résultat obtenu avec une méthode est confirmé par une autre méthode. Ceci permet d'enlever les biais d'une méthode et confirmer d'autant mieux un résultat. C'est sûr que pour l'expérience que tu nous montres, il est difficile de trouver une autre méthode pour confirmer. Mais on voit rarement une expérience réalisée plus de trois fois.

A ce sujet, quand on pense qu'en laboratoire on effectue parfois une expérience une dizaine de fois avant qu'elle marche trois fois et faire les tests statistiques. Si on reportait tous nos résultats (loupés et réussis) dans le test statistique, beaucoup d'effets que nous observons ne seraient statistiquement pas significatifs. Pour les publications, on ne reporte que les 3 manips qui ont marché pour faire le test de student c'est donc significatifs bien entendu. Cela ne remet pas pour autant la biologie en question. C'est juste que les manips sont très sensibles et de très nombreux facteurs entrent en jeu. Parfois nous faisons varier légèrement un paramètre sans s'en rendre compte, ce qui fait marcher, ou rater une manip. On doit donc adapter les statistiques à notre discipline et trouver une part raisonnable. Rappelons que pour être vraiment valide, le test de student doit être effectué sur des expériences réalisées 30 fois, ce qui est irréaliste à l'échelle de la biologie.

[fabien.che]

Non, non, désolé si j'arrive vraiment pas à être clair. Ca fait en tout et pour tout N = 6 par condition.

Ah ! N = 6 sur une seule manip donc ? C'est vrai que c'est un peu léger, surtout avec deux plantes dans un même pot, on se rapproche plus du N = 3, mais bon... les chinois et les plantes, c'est une grande histoire d'amour.

C'est aussi pour ce genre de chose qu'il existe les impact factor !

[kamor]

Quand les résultats contiennent des statistiques, tu peux calculer l'intervalle de confiance. Et effectivement, quand tu as un petit échantillon, il est énorme. Mais bon... on part du principe que les auteurs sont honnêtes, même si certains aspects de manips peuvent être cachées pour ne pas brouiller le message à délivrer.

[Dreiyan]

Rappelons que pour être vraiment valide, le test de student doit être effectué sur des expériences réalisées 30 fois, ce qui est irréaliste à l'échelle de la biologie.

Je pensais pourtant que quand il est question de culture en pots, c'est pas si dur de répéter plusieurs fois l'expérience... mais c'est vrai qu'ils ont procédé ensuite à beaucoup d'analyses des plantes et du sol ce qui devait être assez lourd à mettre en place.

Avoir plusieurs vérifications par des labos différents, non seulement augment l'échantillon statistique, mais diminue d'autant le risque d'une fraude/falsification.

Sur ce point là l'article cite quelques autres publications qui vont dans le même sens que ses propres conclusions (concernant la baisse de la consommation d'eau et de productivité, avec néanmoins une hausse de la "Water use efficiency"), et d'autres qui confirment ou infirment les résultats obtenus concernant l'impact des techniques alternatives d'irrigation sur l'approvisionnement en nitrates. Donc les conclusions semblent assez "sûres", néanmoins je me questionnais sur la validité de l'expérience en tant que telle.

Merci à tous de votre aide, en tout cas!