De quoi dépend la validité d'un travail scientifique ?

[myoper]

À mon avis d'ailleurs tout a été dit.

Et redit ...
-----

[Deedee81]

Salut,

Il faudrait tout de même des remises en cause un peu plus fondamentales.

+1

La perfection n'est pas de ce monde.

Et ça concerne évidemment la recherche en général, les expériences, les observations, les travaux théoriques et même les maths (je ne fais pas référence à Gödel ou du style Mais au fait qu'une erreur humaine ou informatique est toujours possible et comme les vérifications sont parfois longues et difficiles....).

[Nicophil]

Je rêverai d'un cours de math ou physique dont le professeur commencerait ainsi...

CHAPITRE 1

Prélude

Les grandes generalites preliminaires sont rarement ecoutees ou lues, encore plus
rarement entendues. Si vous avez l’intention de transgresser cette regle statistique,

http://www.imnc.univ-paris7.fr/alain....quant/RQ1.pdf
par Alain LAVERNE

[ansset]

revenons peut être comme suggéré plus haut à la question de base sur la fiabilité accordée aux revues et textes scientifiques.

[shmikkki]

Bonjour à tous,

Pour revenir au débat central, il faut aussi ajouter que malgré le peer-review des revues indexées, il faut grandement se méfier ... Et le tri entre toutes les revues peut être laborieux, en témoigne cet article publié dans Science qui a fait beaucoup de bruit en octobre dernier: http://sciences.blogs.liberation.fr/...auchemar-.html
50% des revues ont accepté un article manifestement faux!
Alors certes, cet article est à resituer dans le débat sur l'open-acces; mais les résultats sont quand même affolants.
En tout cas pour moi cela montre que lorsque la science devient un marché (malheureusement), il faut d'autant plus redoubler de méfiance envers les différents journaux ...

[myoper]

50% des revues ont accepté un article manifestement faux!

Sachant que la science est quand même un processus assez lent pour intégrer et vérifier les connaissances, il aurait fallu voir en combien de temps, cet article aurait été repéré, tel un neutrino traversant un clonage japonais javellisé.

[ansset]

Bonjour à tous,

Pour revenir au débat central, il faut aussi ajouter que malgré le peer-review des revues indexées, il faut grandement se méfier ... Et le tri entre toutes les revues peut être laborieux, en témoigne cet article publié dans Science qui a fait beaucoup de bruit en octobre dernier: http://sciences.blogs.liberation.fr/...auchemar-.html
50% des revues ont accepté un article manifestement faux!
Alors certes, cet article est à resituer dans le débat sur l'open-acces; mais les résultats sont quand même affolants.
En tout cas pour moi cela montre que lorsque la science devient un marché (malheureusement), il faut d'autant plus redoubler de méfiance envers les différents journaux ...

ne pas tomber dans la parano non plus.
sinon comment lire un article géopolitique écrit par un spécialiste.
ou un article "rebonds" ds un autre journal.

le lecteur est aussi "un peu " responsable du crédit qu'il attribue à ses lectures.
l'inverse serait effrayant , non ?

[JPL]

Ces revues en Open Access n'ont certainement pas de referees ou de referees compétents. Il faut lire l'article que tu cites en entier. Tu fais donc dire à l' article de Science tout autre chose que ce qu'il démontre. Certes des erreurs, voire des fraudes peuvent ne pas être détectées par les referees des grandes revues imprimées bien connues (Nature s'est rendu tristement célèbre pour avoir accepté l'article de Benveniste sur la mémoire de l'eau), mais globalement le filtrage est assez efficace.

Il n'a fallu par exemple que quelques semaines pour que les publications sur les cellules STAP (http://www.futura-sciences.com/magaz...briquer-52015/) soit retirées de Nature... puis hélas que le superviseur de l'auteur (par principe je refuse l'atroce "auteure") principale se suicide.

[JPL]

Pour renforcer mon message précédent je cite ce passage de l'article que shmikkki a donné en lien :

Or, les revues en accès libre ont aussi fait l'objet d'une prédation capitaliste. Des sociétés privées ont fondé en quelques années des milliers de revues. La liste du DOAJ (annuaire des revues en open access) affiche déjà plus de 9.900 revues; dont 1000 enregistrées en 2012. Elles ont constitué des comités éditoriaux et recruté des "reviewers" en inondant de spam des milliers de chercheurs à travers le monde. Ces revues n'ont en réalité, malgré les proclamations, aucune qualité scientifique, et peuvent publier absolument n'importe quoi: de la science non seulement médiocre, mais pathologique, mensongère, voire des purs canulars comme vient de le prouver Science. Elles singent les revues scientifiques classiques - et souvent leurs noms avec des American et des European cachant des adresses en Turquie ou au Pakistan, le plus gros paquet de revues testées se trouvant en Inde, suivi... des Etats-Unis où le profit final est souvent retrouvé - avec comité éditorial, relecteurs et la qualité scientifique en bandoulière. Or, 45% des revues de cette liste du DOAJ auxquelles le papier bidon a été envoyé l'ont accepté.

Donc rien à voir avec les revues sérieuses.

[shmikkki]

Bonjour,

Sachant que la science est quand même un processus assez lent pour intégrer et vérifier les connaissances, il aurait fallu voir en combien de temps, cet article aurait été repéré, tel un neutrino traversant un clonage japonais javellisé.

Je suis aussi d'accord, mais cela n'est surement valable que pour les articles "mainstream". Un article qui n'intéresse pas grand monde a plus de chances de rester longtemps publié sans que personne ne s'en aperçoive (ce qui du coup n'est pas très grave pour la Science).

Ces revues en Open Access n'ont certainement pas de referees ou de referees compétents

Pas tout à faire non. Effectivement, beaucoup disent qu'elles ont des reviewer mais elle n'en ont en fait pas (Cependant, comment faire la différence ... bien souvent l'arnaque va jusqu’à falsifier l'éditorial board).
Mais n'oublions pas que beaucoup de revues en open acces sont crées tous les ans, avec des reviewer sérieux (Pensons pas exemple à PLoS one par exemple).
Bref, ce que je voulais appuyer avec cet article, c'est que depuis que la Science est devenue un marché très lucratif, la fourmilière des revues (de se qui disent ce qui est scientifique (et intéressant) et ce qui ne l'est pas, rappelons le) ne cesse de s’agrandir, avec évidemment les problèmes que ça engendre.

(En guise d'exemple, un nouveau journal s'est crée il n'y a pas si longtemps: Ecology & Evolution. Ben franchement, si les 2 auteurs de ce journal (qui sont des gens sérieux) voulaient simplement faire des sous en divisant par 2 le temps de réponse après soumission (ce qui un des critères les plus regardé pour choisir la revue dans laquelle on publie), tout en mettant moins d'accent sur le processus de relecture (par exemple en demandant aux auteurs d'occulter tel ou tel graphique car ça amenuise les résultats) ... il serait extrêmement difficile de se rendre compte de ça.)

[Geb]

Bonjour,

Même en début d'étude universitaire je n'ai jamais entendu même une fois ce discours tenu devant son amphi par un professeur...
Y a-t-il quelqu'un qui a un contre-exemple, je suis tout ouïe ?

J'attend un contre-exemple s'il y en a, qui mettra fin à cette parenthèse...
Contre exemple : quelqu'un ayant eu un enseignant qui durant son cours officiel vous a dit : " attention ce que je vous enseigne n'est que la vérité du moment."

Pour ce que ça vaut (désolé pour le côté anecdotique), lorsque j'étais au collège j'avais un prof de chimie qui nous a appris à présenter les résultats scientifiques en ajoutant toujours la phrase "dans l'état actuel de nos connaissances et jusqu'à preuve expérimentale du contraire".

Cordialement.

[ansset]

bonjour Geb,
tu reprends exactement ce que j'ai mentionné ds mon post #58.
Cdt

[Geb]

Donc rien à voir avec les revues sérieuses.

En définitive, seul le contenu compte, non ?

Pour en revenir à un exemple sur lequel je reviens souvent, le géologue britannique Michael Russell et le biologiste britannique Nick Lane ont publié tous les deux des articles dans Journal of Cosmology, une revue "open access" dont la qualité est généralement plus que discutable. Pourtant le contenu des publications de Russell et de Lane dans cette revue reste tout à fait pertinent et digne d'intérêt (en droite ligne du reste de leurs publications).

Avec ces quelques exemples en tête, je regrette parfois que ces bons articles soient rejetés d'emblée parce qu'ils sont publiés dans des revues peu recommandables. Bon, évidemment, il n'est pas question ici de pseudo-sciences. Mais c'est la preuve qu'il y a bien de rares exceptions, et ceux qui sont formés dans ces matières peuvent (devraient) apprécier sans difficulté les publications par leur contenu et non pas par le prestige de l'éditeur ou de l'auteur.

Donc, je le répète, je suis d'avis que seul le contenu compte. Pour ceux qui n'ont pas les connaissances requises pour distinguer les divagations et autres élucubrations foireuses qu'on trouve parfois dans certaines publications, par rapport aux résultats qualifiables de scientifiques, ils peuvent très bien demander l'avis des spécialistes présents sur le forum, et à défaut, poser la question par mail à un spécialiste du domaine (comme il m'arrive de le faire moi-même).

Cordialement.

[shmikkki]

Mais c'est la preuve qu'il y a bien de rares exceptions, et ceux qui sont formés dans ces matières peuvent (devraient) apprécier sans difficulté les publications par leur contenu et non pas par le prestige de l'éditeur ou de l'auteur.

Donc, je le répète, je suis d'avis que seul le contenu compte. Pour ceux qui n'ont pas les connaissances requises pour distinguer les divagations et autres élucubrations foireuses qu'on trouve parfois dans certaines publications, par rapport aux résultats qualifiables de scientifiques, ils peuvent très bien demander l'avis des spécialistes présents sur le forum, et à défaut, poser la question par mail à un spécialiste du domaine (comme il m'arrive de le faire moi-même).

Oui, je suis d'accord sur le fond, mais honnêtement ... c'est quasi impossible.
Lorsque par exemple on écrit une intro d'un article, on est souvent bien obligé d'élargir beaucoup plus loin que notre champ de compétence. Par exemple, moi qui fais de la biologie évolutive, si je veux mentionner (pour une raison X, de pure argumentation) que les promoteurs génétiques peuvent être soumis à un très fort taux de recombinaison (exemple Lambda). Je vais naturellement chercher dans la littérature l'info, mais je ne vais pas pouvoir apprécier pleinement la manip issu de l'article en question tellement je n'y connais rien en biologie moléculaire. Que faire? Je fais comme font tous les chercheurs: J’accepte simplement les conclusions de l'article, en regardant vaguement le journal dans lequel l'étude a été publiée.

Et encore, je ne parle même pas des biostatistiques ... un collègue expert dans les statistiques m'avait clairement dit un jour que si on devait accepter seulement les conclusions scientifiques issues d'une analyse statistique juste, on n'accepterait que seulement 40% des articles.

Autres exemple tient, on utilise souvent des statistiques extrêmement complexes. La très grande majorité des écologistes qui les utilisent ne savent pas vraiment ce qu'il y a derrière (je pense par exemple aux modèles bayésiens, ou aux modèles à effets mixtes), et j'en fais partie! Mais on ne fait que utiliser des outils mathématiques que les statisticiens nous construisent ... sans avoir réellement de compétence pour en juger la validité.
Et honnêtement, je vois de plus en plus d'articles qui sortent en disant "arrêter de faire telle analyse statistique, c'est faux!!!" .... et pour autant, tu peux encore faire accepter un article dans des revues en utilisant l'analyse stat en question ...

Bref, tout ce charabia pas très structuré pour dire que c'est franchement très compliqué de juger "au contenu" .

[invite2ec994dc]

Discussion sur le même sujet :
http://forums.futura-sciences.com/ph...entifique.html

Cordialement.

[minushabens]

Autres exemple tient, on utilise souvent des statistiques extrêmement complexes. La très grande majorité des écologistes qui les utilisent ne savent pas vraiment ce qu'il y a derrière(...)

En génétique c'est encore pire. Certain utilisent des logiciels sans même en comprendre les hypothèses sous-jacentes. La faute (à mon humble avis) en revient en partie à ceux qui mettent ces logiciels à la disposition de tous.

[ansset]

En génétique c'est encore pire. Certain utilisent des logiciels sans même en comprendre les hypothèses sous-jacentes. La faute (à mon humble avis) en revient en partie à ceux qui mettent ces logiciels à la disposition de tous.

bien sur !!!!!!
c'est la faute de peugeot s'il y a des accidents de voiture aussi.

[Geb]

tu reprends exactement ce que j'ai mentionné ds mon post #58.

Certes. Je ne fais que confirmer tes propos. Content d'apporter de l'eau à ton moulin.

Oui, je suis d'accord sur le fond, mais honnêtement ... c'est quasi impossible.
Lorsque par exemple on écrit une intro d'un article, on est souvent bien obligé d'élargir beaucoup plus loin que notre champ de compétence. Par exemple, moi qui fais de la biologie évolutive, si je veux mentionner (pour une raison X, de pure argumentation) que les promoteurs génétiques peuvent être soumis à un très fort taux de recombinaison (exemple Lambda). Je vais naturellement chercher dans la littérature l'info, mais je ne vais pas pouvoir apprécier pleinement la manip issu de l'article en question tellement je n'y connais rien en biologie moléculaire. Que faire? Je fais comme font tous les chercheurs: J’accepte simplement les conclusions de l'article, en regardant vaguement le journal dans lequel l'étude a été publiée.

Certes, il est parfois incontournable de citer un résultat sans pour autant être en mesure de faire toutes les vérifications nécessaires. Mais même dans ce cas de figure un scientifique pourra faire la part des choses. Par exemple, il est de nos jours facile d'étayer un résultat par un grand nombre de publications (ce qui en biostatistique est souvent gage de sa "réalité physique"). De la même manière s'il s'agit d'un résultat entièrement nouveau, voir inattendu, cela transparaît (ou plutôt devrait transparaître) dans l'article. Personnellement, quand je lis "Récemment, Dr. un tel a...", rien que l'usage du terme récemment m'incite à penser directement "nouveau = à confirmer". Quelqu'un de moins à l'aise avec le discours scientifique n'aura peut-être pas ce genre de réflexe, et il appartient aux personnes compétentes de l'éclairer (si elles ont été préalablement sollicitées).

J'imagine quand même qu'avant de citer un résultat, un scientifique fait l'effort de lire la totalité de la publication (ce qu'un quidam fait rarement).

Et encore, je ne parle même pas des biostatistiques ... un collègue expert dans les statistiques m'avait clairement dit un jour que si on devait accepter seulement les conclusions scientifiques issues d'une analyse statistique juste, on n'accepterait que seulement 40% des articles.

Là encore, l'expérience t'aura sans doute appris à te méfier des analyses statistiques, ou au moins à connaître leurs limites. Ce sont des choses qu'un quidam confronté à l'information "brute" n'aura peut-être pas envisagé.

À défaut de pouvoir juger le contenu, tu pourrais malgré tout orienter une personne non-scientifique qui te demanderait d'en juger la pertinence en faisant quelques commentaires très simples sur les aspects d'un résultat pour lesquels il vaut mieux rester prudent.

D'où l'importance d'interagir avec des spécialistes (sur ce forum ou par d'autres moyens) avant de prendre tout ce qu'on lit comme vérité absolue.

Il me paraît évident que les scientifiques ne disent pas : "c'est dans Nature / Science / Cell / PNAS, donc c'est forcément solide".

Par contre, j'ai vu beaucoup plus souvent un truc du style (je paraphrase) : "c'est dans JoC donc c'est forcément de la m....".

Cordialement.

[JPL]

Il me paraît évident que les scientifiques ne disent pas : "c'est dans Nature / Science / Cell / PNAS / donc c'est forcément solide".

Absolument, c'est pourquoi dans mon message n° 68 j'ai évoqué quelques bavures célèbres de ces revues. À moins d'être un vrai spécialiste du sujet il n'existe que des arguments de présomption qui peuvent laisser penser qu'un article est vraisemblablement solide ou douteux.

[invite2ec994dc]

Absolument, c'est pourquoi dans mon message n° 68 j'ai évoqué quelques bavures célèbres de ces revues. À moins d'être un vrai spécialiste du sujet il n'existe que des arguments de présomption qui peuvent laisser penser qu'un article est vraisemblablement solide ou douteux.

Pourriez-vous donner un exemple d'argument de présomption ?

[minushabens]

bien sur !!!!!!
c'est la faute de peugeot s'il y a des accidents de voiture aussi.

Ok le mot faute est sans-doute excessif. Ce que je voulais dire, c'est que des chercheurs mettent au point un nouveau modèle, et dans la foulée produisent un article et un logiciel qui implémente leur modèle. C'est beaucoup plus rapide que la sortie d'une nouvelle Peugeot. Et donc ces logiciels sont dans la nature, les gens qui les utilisent n'ont pas toujours compris quelles étaient leurs limites. Personne d'ailleurs ne le comprend. Parfois après quelques années d'utilisation on voit apparaître un papier qui explique pourquoi il ne faut pas utiliser ce modèle... C'est très fréquent en génétique, je pourrais citer des exemples précis.

A ce sujet je recommande la lecture du papier d'Anne-Laure Boulesteix : ."Over-optimism in bioinformatics research". On trouve le pdf ici : http://www.ibe.med.uni-muenchen.de/o...steix/eng.html

[JPL]

Pourriez-vous donner un exemple d'argument de présomption ?

On vient justement de parler d'un exemple clair : le fait qu'un article soit publié dans une revue prestigieuse ou de bas de gamme ne donne qu'une présomption (généralement raisonnable) sur la qualité du travail publié.

Tu ne comprends pas ce que tu lis ?

[minushabens]

Par contre, j'ai vu beaucoup plus souvent un truc du style (je paraphrase) : "c'est dans JoC donc c'est forcément de la m....".

C'est-à-dire que quand on veut publier un article, on essaye en général la revue la plus prestigieuse, qui nous semble pouvoir accepter le travail en question. Si elle n'en veut pas on essaye une un peu plus bas, etc (mon record : accepté à la sixième soumission). Ca a un côté absurde mais tout le monde ou presque fait comme ça. Du coup, un article publié dans JoC, c'est soit qu'il a été refusé partout, soit que ses auteurs ne croyaient pas à leurs propres résultats. Bien sûr il y a des exceptions, par exemple un papier sain et intéressant peut être refusé à tort et son auteur découragé l'envoie à une reve de seconde zone, mais dans l'ensemble ça fonctionne comme j'ai dit.

[invite2ec994dc]

On vient justement de parler d'un exemple clair : le fait qu'un article soit publié dans une revue prestigieuse ou de bas de gamme ne donne qu'une présomption (généralement raisonnable) sur la qualité du travail publié.

Tu ne comprends pas ce que tu lis ?

C'est bien que les informations essentielles de ce fil c'est à dire les critères effectifs de validité (accorder sa confiance) à un travail scientifique soit rappelé.
Je pensais que tu aurais des critères de "vieux routard" de la science.

[shmikkki]

J'imagine quand même qu'avant de citer un résultat, un scientifique fait l'effort de lire la totalité de la publication (ce qu'un quidam fait rarement).

Désolé de peut être casser l'ambiance, mais non ...
C'est certes une réalité bien triste, mais beaucoup d'article sont cités sans être lu (j'ai pas mal d'exemples en tête parfaitement concrets si vous voulez des exemples).

Allé, juste un: Dans mon domaine on utilise pour calculer la sélection la régression de Lande & Arnold. Ben en 2008, Stinchcombes sort une publis ou il dit que l'estimation est biaisée si on ne la multiplie pas par deux. Ben maintenant, tout le monde multiplie l'estimation de la sélection par deux, et crois moi, et personne ne sait pourquoi (l'article de Stinchcombes est aussi pas mal compliqué, et hors de notre domaine).
Des exemples comme ça il y en a plein.

Là encore, l'expérience t'aura sans doute appris à te méfier des analyses statistiques, ou au moins à connaître leurs limites.

Pas vraiment ...
Un exemple: Dans mon domaine on longtemps utilisé ce que l'on appelle les "breeding values", qui sont estimées en utilisant les valeurs ajustés d'un modèle à effet mixte. C'était super pratique car (sans rentrer dans les détail), l'évolution des breeding values dans le temps nous permet d'accéder directement au changement évolutif génétique d'une population naturelle. Et bien cette méthode a été utilisé pendant facile 15-20 ans. Jusqu'à ce qu'un type se penche sur la question et sorte un article en 2005, qui montre clairement que l’estimation des breeding values est complètement biaisée (ce qui ne permet pas d'en conclure quoi que se soit en regardant leurs évolution dans le temps).
Et bien pourtant tout le monde pendant 15-20 ans a simplement utilisé un article datant de 20 ans mentionnant la méthode pour extraire les valeurs ajustés d'un modèle mixte.

Même avec de l'expérience, avant 2005, peu de monde se serait méfié de la méthode.
Bref, tout ça pour dire que lorsque le domaine commence à être extrêmement pointu, les champs de compétences du chercheur sont dépassés.
(Je le vois tout les jours, quand par exemple je veux comprendre pourquoi il faut utiliser telle ou telle analyse statistique et pas une autres: Si je commence à creuser je tombe très rapidement sur des publis de mathématiques pures ou je ne comprends absolument rien).

À défaut de pouvoir juger le contenu, tu pourrais malgré tout orienter une personne non-scientifique qui te demanderait d'en juger la pertinence en faisant quelques commentaires très simples sur les aspects d'un résultat pour lesquels il vaut mieux rester prudent.

Oui je suis d'accord. L'expérience amène de plus à plus à se méfier.
Ton exemple d'ailleurs du "résultat montré tout récemment" est pertinent.

[minushabens]

Je pensais que tu aurais des critères de "vieux routard" de la science.

En principe c'est "vieux routier". C'est déjà un "compliment" assez douteux, alors si en plus tu traites jpl de routard...

[shmikkki]

Et donc ces logiciels sont dans la nature, les gens qui les utilisent n'ont pas toujours compris quelles étaient leurs limites. Personne d'ailleurs ne le comprend. Parfois après quelques années d'utilisation on voit apparaître un papier qui explique pourquoi il ne faut pas utiliser ce modèle... C'est très fréquent en génétique, je pourrais citer des exemples précis.

Oh oui! +1000
Bon, notons quand même un bon nombre de personnes qui font de supers tutoriels pour énormément de logiciels (sans compter quelque workshop et les discussions spécialisés sur le web. Je pense par exemple au logiciel R qui bénéficie d'énormément de contenu sur quasiment tous les packages). Bref, saluons le travail pédagogique de ces créateurs de logiciel ou de package!

[ansset]

merci, c'est plus explicite.
ps : je n'y connais rien en bio !

[JPL]

Je pensais que tu aurais des critères de "vieux routard" de la science.

Après c'est uniquement regarder la cohésion interne d'une publication et la manière dont elle s'articule avec les données ou théories considérées comme raisonnablement sûres. Et dans certains domaines, en biologie par exemple, le "feeling" du spécialiste permet parfois de dire qu'il y a peut-être un loup, même si ce n'est pas évident.

En principe c'est "vieux routier". C'est déjà un "compliment" assez douteux, alors si en plus tu traites jpl de routard...

Je me m'arrête pas aux mots, j'assume mon âge sans problème, et j'assume aussi d'avoir arrêté de faire de la recherche à partir d'un certain moment. Quant au pourquoi, c'est mon histoire et cela ne regarde que moi.

[invite2ec994dc]

Après c'est uniquement regarder la cohésion interne d'une publication et la manière dont elle s'articule avec les données ou théories considérées comme raisonnablement sûres. Et dans certains domaines, en biologie par exemple, le "feeling" du spécialiste permet parfois de dire qu'il y a peut-être un loup, même si ce n'est pas évident...

Merci, y-a-t-il des critères visuels de cohésion interne d'une publication, esthétique par exemple ?