Les limites du systeme de peer-review?

[tortuga]

Bonjour a tous,

Avez-vous eu vent de cette histoire recente a propos d'une revue parue dans Proteomics:

Quand un "puissant Créateur" s'invite dans une revue scientifique
http://www.rue89.com/2008/03/22/quan...e-scientifique
(bon article sur le sujet avec liens)

L'article a depuis ete retire (http://www.ncbi.nlm.nih.gov/pubmed/18214846) mais le debat gronde concernant le systeme d'acceptation des articles par peer-review:

Plus grave, on peut se demander comment un article, cense etre accepte apres accord de referees competents en la matiere ait pu passer dans un journal comme Proteomics (qui est quand meme autre chose que le Journal de Mickey) sachant que:

Moins de 24 heures après la publication de l'analyse du professeur Myers, au terme d'une curée d'une redoutable exhaustivité, les commentateurs auront prouvé qu'au moins 20% de cet article de quinze pages est un collage de passages, tirés d'une demi-douzaine d'articles non crédités dans la liste de références

Meme si dans ce cas, la controverse paraissait flagrante, on peut imaginer que d'autres "erreurs" peuvent etre souvent plus subtiles et mettre plus de temps a etre reperees, non? En tout cas, a mon sens, le peer-review est le "moins pire" des systemes, et ce genre d'accidents peut toujours arriver.

Mais vous, que pensez-vous de tout ca?

A bientot!

Tortuga

[Damien49]

Meme si dans ce cas, la controverse paraissait flagrante, on peut imaginer que d'autres "erreurs" peuvent etre souvent plus subtiles et mettre plus de temps a etre reperees, non?

Ca s'appelle faire un sophisme ça.

[Yoyo]

Salut

le systeme a ses limites! comme les auteurs proposent eux meme les referee pour leur articles (l'editeur n'est pas obligé de suivre ces propositions, mais il le fait quand meme dans la plupart des cas). Il suffit qu'il est demandé a des personnes partageant ses opinions. D'autant que souvent on dis aussi qui on ne veut pas, et la l'editeur suis TOUJOURS ces demandes, donc facile d'éliminer quelques adversaires coriaces.

Enfin l'editeur n'est pas forcément super compétent dans le domaine en question et il ne se base que sur l'avis des referee pour accepter ou pas...

Cela peu entrainer quelques problemes c'est clair.

YOyo

[Damien49]

Oui peut être. Ma phrase était peut être un peu agressive je me rend compte en me relisant. Désolé ^^

Ce que je voulais dire, c'est qu'on ne peut pas faire d'un exemple pris comme ça au hasard, une généralité qui en ferait une règle. C'est ce que je voulais dire par sophisme...

[yves25]

Le système des publications scientifiques ne repose heureusement pas que sur les peer rewiews
C'est la premère étape à franchir, c'est clair et une fois cette étape franchie, on peut rajouter une publi à son tableau de chasse
L'étape qui suit est autrement importante: c'est celle de la critique par les lecteurs de l'article.
Un article qui ne fait pas de vagues ...sera rapidement parcouru et plus ou moins enterré (question: était il vraiment utile?) , mais s'il est intéressant soit par ce qu'il avance soit par la méthodologie proposée, il devient très exposé.

Cet obstacle là est beaucoup plus difficile à passer (cf la mémoire de l'eau par exemple) . A mon avis, un article important mais erroné ne le passe pas vraiment. Ne serait ce que parce que ce que l'on bâtira là dessus s'écroulera un jour ou l'autre.

En clair, on peut ainsi faire illusion un moment mais pas très longtemps.

Par contre, un article tout aussi erroné mais qui n'apporte rien , lui , peut parfaitement passer ...inaperçu.

C'est bien pour cela que les non spécialistes devraient attendre un minimum de temps de décantation avant de se jeter sur un papier qu'ils ne comprennent d'ailleurs qu'en partie. Une grande partie des discussions soit disant scientifiques qu'on voit ici autour du climat sont de cet ordre

[tortuga]

Oui c'est clair qu'un papier peut être "cité" plein de fois, donc on se dit qu'il est peut être bien, mais il est peut être cité parce qu'il est nul et tout le monde le descend... Ne faudrait-il pas imaginer un système capable de "lier" les articles entre eux, d'apporter un certain "feedback" que seule la publication et le nombre de citations ne donnent pas?

L'initiative d'ouvrir les publications aux commentaires (comme c'est le cas dans les PLoS) est une bonne idée, mais on sent vite que ca peut devenir le foutoir, comme dans tous les forums sans trop de modération (ce qui n'est certainement pas le cas de PLoS, j'imagine) ou même que les commentaires deviennent trop subjectifs (j'aime pas ton labo ou t'es mon concurrent alors paf je te descends)... "Faculty of 1000" est une idée assez sympa aussi, dans le genre...

En gros, est-ce que vous pensez que ce systeme (qui est quand meme très bon, ou du moins, le moins pire) peut être amélioré?

A bientot!

PS: En fait, le pourquoi de ce fil, c'est que j'entends parfois des gens qui disent que le système de classification des publications et de publication n'est pas idéal, car il a telle ou telle faille, mais en fait je ne vois pas bien ce qu'il pourrait le remplacer... et ces gens là non plus d'ailleurs quand on leur demande. Peut-être comme toujours est-ce plus facile de critiquer que de proposer?

[John78]

Envoyé par tortuga

En gros, est-ce que vous pensez que ce systeme (qui est quand meme très bon, ou du moins, le moins pire) peut être amélioré?

Plus il y aura de pression pour publier, plus on sera tenter de multiplier les papiers. Il en suit une multiplication des journaux, le nombre de papiers soumis augmente exponentiellement. On arrive a la limite du système car faire un bon reviewing celà prends du temps et le nombre de referee (et d'éditeurs associé) n'a certainement pas augmenté dans les même proportions. Je vois en bio ca fait peur le nombre de journaux qui se sont crées ces 2 ou 3 dernières années et qui doive bien remplir leur numéros. A mon avis, celà ne tire pas vers le haut la qualité de l'ensemble et c'est pas super étonnant que le nombre de papiers merdiques (plagiat, résultat bidouillé) augmentent. C'est même logique...
Et l'inverse existe aussi, des bons papiers qui se font jetter manu militari de bonnes revues parcequ'un des referree a "sabré" son analyse. Ca arrive aussi.

A+
J

[Enro]

Envoyé par tortuga

L'initiative d'ouvrir les publications aux commentaires (comme c'est le cas dans les PLoS) est une bonne idée, mais on sent vite que ca peut devenir le foutoir, comme dans tous les forums sans trop de modération (ce qui n'est certainement pas le cas de PLoS, j'imagine) ou même que les commentaires deviennent trop subjectifs (j'aime pas ton labo ou t'es mon concurrent alors paf je te descends)... "Faculty of 1000" est une idée assez sympa aussi, dans le genre...

Ah bon, justement moi je pense que ce système de "tu es mon concurrent je te descends" est beaucoup plus lié au confortable anonymat du peer-review qu'à l'accusatrice transparence de l'open peer review. D'ailleurs, les chercheurs hésitent à commenter des articles au su et au vu de tous, d'où le succès mitigé de certaines expériences de la revue Naure ou même de PLoS.

Envoyé par tortuga

Oui c'est clair qu'un papier peut être "cité" plein de fois, donc on se dit qu'il est peut être bien, mais il est peut être cité parce qu'il est nul et tout le monde le descend... Ne faudrait-il pas imaginer un système capable de "lier" les articles entre eux, d'apporter un certain "feedback" que seule la publication et le nombre de citations ne donnent pas?

C'est une idée intelligente qu'arXiv ou PLoS tentent de mettre en oeuvre, et qui constitue à mon avis l'avenir de la publication en ligne (blogs et/ou articles). J'avais abordé la question dans un billet...