Critique revues à peer-reviewing

[Sofaminou]

Bonjour,

Les revues scientifiques à comité de lecture ont une crédibilité (au moins pour le grand public, qui peut avoir tendance à ne pas exercer son sens critique) qui est mise à mal, on peut se rappeler de l'étude du Lancet concernant la Covid19, comme autre exemple on peut lire ceci (commentaires inclus):
https://blogs.sciencemag.org/pipelin...n-faked-papers
On peut trouver d'autres exemples.
Bien sûr, des biais sont choses "normales", et le but n'est pas de discréditer ces revues, mais de savoir, selon vous, pourquoi il semble difficile d'avoir des revues qui auraient un fonctionnement sans failles? (hors biais des études...)
De l'extérieur, cela ressemble (pour moi du moins et j'ai le droit de me tromper) à une merchandisation de la science, même si cela n'est pas une pratique générale, c'est tout de même dommageable.
Il ne s'agit pas de parler d'obscures revues, mais bien de celles ayant une réputation et qui semblent ne pas rectifier le tir malgré des années de critiques.


Est-ce que le fonctionnement de ces revues impliquent ces défauts, et on y peut rien, faut faire avec? (La masse des articles et le peu de pairs? autres?).
Que faudrait il mettre en place pour une amélioration?
Suis-je trop pessimiste?( mais ça, on peut n'avoir rien à y faire...).
-----

[GBo]

Bonjour,
L'étude du Lancet à laquelle tu fais référence, basée sur des datas frauduleuses, a été retractée (à la demande des 3 co-auteurs du 4).
On peut regretter le temps que cela a pris (et les conséquences de ce laps de temps sur des décisions politiques précipitées), mais il n'empêche que le résultat est là, en quelques semaines l'article a été retiré, il n'y a plus à lui revendiquer une quelconque valeur scientifique.

C'est ce qui fait que le Lancet reste une revue respectable à mes yeux, comme Nature qui avait publié en son temps les travaux de Benveniste sur la mémoire de l'eau, avant de faire son mea culpa.

Quid des "petites revues" auxquelles tu fais allusion, pourquoi les exempter au fait ?

D'autre part je ne vois pas le rapport entre "fraude" comme ici, et le merchandizing (= le fait que l'accès à beaucoup d'articles soit payant).

cdlt,
GBo

[Sofaminou]

Bonjour,
L'étude du Lancet à laquelle tu fais référence, basée sur des datas frauduleuses, a été retractée (à la demande des 3 co-auteurs du 4).
On peut regretter le temps que cela a pris (et les conséquences de ce laps de temps sur des décisions politiques précipitées), mais il n'empêche que le résultat est là, en quelques semaines l'article a été retiré, il n'y a plus à lui revendiquer une quelconque valeur scientifique.

On peut aussi regretter qu'il soit passé, mais le Lancet était un exemple, as-tu lu le lien? un avis sur ce qui y est dit?

C'est ce qui fait que le Lancet reste une revue respectable à mes yeux, comme Nature qui avait publié en son temps les travaux de Benveniste sur la mémoire de l'eau, avant de faire son mea culpa.

Le problème que l'on peut poser est pourquoi c'est passé?
Sur un sujet hyper pointu je veux bien, mais il y a des trucs comme la mémoire de l'eau et autre ou cela n'aurait pas dû passé les premières barrières et pourtant...

Quid des "petites revues" auxquelles tu fais allusion, pourquoi les exempter au fait ?

L'enjeu pour les petites revues n'est pas de même catégorie, il faut se faire connaître pour "grossir" donc faire du chiffre, donc accepter un peu tout et n'importe quoi, ce n'est pas valable pour les petites revues qui font bien le boulot.
Mais vu comment tu poses la question, je sens comme une méfiance...je l'ai dit pas d'intention de discréditer qui que ce soit, juste discuter sur le fond, et voir où je me trompe. Tu peux m'accorder un minimum de présomption d'innocence (le est interprétable de façon diverse...)

D'autre part je ne vois pas le rapport entre "fraude" comme ici, et le merchandizing (= le fait que l'accès à beaucoup d'articles soit payant).

Le sujet n'est pas la fraude.. je n'aurais pas du parler du Lancet...lis le lien, il cadre bien le sujet, donc effectivement il n'y a aucun rapport.

[GBo]

On peut aussi regretter qu'il soit passé, mais le Lancet était un exemple, as-tu lu le lien? un avis sur ce qui y est dit?
Le problème que l'on peut poser est pourquoi c'est passé?
[...]

Ton titre et ta référence au Lancet sont alors maladroits, passons.
Que dit ton lien (qui nécessite de lire un autre lien): le blogguer Derek Lowe se plaint (à juste titre) qu'une équipe de l'université de Malaisie arrive à faire passer un brouillon tout pourri (et qui ferait pisser de honte un étudiant en chimie orga de Deug) dans la revue Scientific Reports alors qu'elle est sensée être à comité de lecture sur le plan scientifique. Right ?

Maintenant, je te l'apprends si tu l'ignores, cette revue fait partie de cette nouvelle race de "mégarevues" en ligne et en libre accès.
https://fr.wikipedia.org/wiki/Scientific_Reports
D'autres exemples de ces "mégarevues" sont cités dans l'article wikipedia ci-dessus : PLOS ONE et PeerJ.

Est-ce de ce phénomène nouveau (qui date juste de la dernière décennie) dont tu veux parler ?

[A voir en vidéo sur Futura]

[Sofaminou]

Ton titre et ta référence au Lancet sont alors maladroits, passons.

Le titre n'est maladroit que si on considère qu'une critique n'est que négative, elle peut aussi être constructive.

Est-ce de ce phénomène nouveau (qui date juste de la dernière décennie) dont tu veux parler ?

Oui, déjà pour savoir si cela n'est que récent ou a toujours été mais dans des proportions moindres mais surtout si c'est une dérive et si cela peut être inquiétant, ou non.
Si ces phénomènes ont toujours été mais pas plus aujourd'hui qu'hier, j'aurai ma réponse...je m'inquiète pour rien.

[papy-alain]

Pour le non-initié que je suis, il me semble que les comités de lecture ne font pas leur boulot. Dans les exemples cités dans les messages précédents, le fait qu'une publication soit retirée après-coup est, il est vrai, un gage d'authenticité de la revue. Mais normalement, cela ne doit il pas se passer autrement ? Il me semble qu'une étude comportant des biais importants (voir même d'une étude frauduleuse) devrait tout simplement ne pas être publiée du tout, et qu'une rétractation ultérieure n'est qu'une conséquence des réactions négatives formulées ultérieurement ?

[Sofaminou]

Pour le non-initié que je suis, il me semble que les comités de lecture ne font pas leur boulot.

Je ne sais pas, si des initiés pouvaient donner leur avis.
Je ne sais même pas si on peut parler de dérive ou d'un fonctionnement inhérent au peer-reviewing.

Je regrette d'avoir parler du Lancet, c'était pour donner un exemple très connu, mais cela me désolerait que, si la discussion se poursuit, cela tourne autour de ça.

[GBo]

Pour le non-initié que je suis, il me semble que les comités de lecture ne font pas leur boulot. Dans les exemples cités dans les messages précédents, le fait qu'une publication soit retirée après-coup est, il est vrai, un gage d'authenticité de la revue. Mais normalement, cela ne doit il pas se passer autrement ? Il me semble qu'une étude comportant des biais importants (voir même d'une étude frauduleuse) devrait tout simplement ne pas être publiée du tout, et qu'une rétractation ultérieure n'est qu'une conséquence des réactions négatives formulées ultérieurement ?

Ben oui c'est clair, mais comment faire quand on sait que l'incompétence, les agendas cachés (politiques, religieux ...), le narcissisme, la malhonnêteté intellectuelle, les biais psychologiques, la recherche de profit facile, les pistons, les renvois d'ascenseur (liste non exhaustive) et l'erreur font partie de la nature humaine ?
Les scientifiques en seraient exempts ? Tiens donc.
Et dans le métier de papy-alain, c'était pas comme ça ?

[GBo]

[...]
Je regrette d'avoir parler du Lancet, c'était pour donner un exemple très connu, mais cela me désolerait que, si la discussion se poursuit, cela tourne autour de ça.

Pour revenir au sujet, qui est peut-être, mais tu ne l'as pas acquitté, le peer-reviewing light des mégarevues, un article de qualité exceptionnelle sur le sujet particulier:
Mega-journals: the future, a stepping stone to it or a leap into the abyss?
https://www.timeshighereducation.com...-or-leap-abyss
Stephen Pinfield is professor of information services management at the University of Sheffield. He is currently principal investigator on an AHRC-funded project investigating mega-journals and the future of scholarly communication.

[Sofaminou]

Ben oui c'est clair, mais comment faire quand on sait que l'incompétence, les agendas cachés (politiques, religieux ...), le narcissisme, la malhonnêteté intellectuelle, les biais psychologiques, la recherche de profit facile, les pistons, les renvois d'ascenseur (liste non exhaustive) et l'erreur font partie de la nature humaine ?
Les scientifiques en seraient exempts ?

Effectivement, est-ce que c'est en augmentation ces travers ou non?

[GBo]

Ca je n'en sais rien, il y avait eu un article dans Pour La Science vers 2005 je crois qui semblait le laisser entendre pour les articles scientifiques en effet (baclés, recopiés, segmentés à l'infini pour faire nombre, données manipulées...).
Mais si c'est effectivement le cas, sur plus de 30 ans, je le constate à mon échelle dans tous les métiers. TOUS.

[papy-alain]

Ben oui c'est clair, mais comment faire quand on sait que l'incompétence, les agendas cachés (politiques, religieux ...), le narcissisme, la malhonnêteté intellectuelle, les biais psychologiques, la recherche de profit facile, les pistons, les renvois d'ascenseur (liste non exhaustive) et l'erreur font partie de la nature humaine ?
Les scientifiques en seraient exempts ? Tiens donc.
Et dans le métier de papy-alain, c'était pas comme ça ?

C'est sans doute comme ça dans tous les métiers. Sauf que pour certains, les conséquences sont plus sensibles que pour d'autres, notamment pour tout ce qui touche à la santé.

[Sofaminou]

Pour revenir au sujet, qui est peut-être, mais tu ne l'as pas acquitté, le peer-reviewing light des mégarevues

Je pensais surtout aux revues traditionnelles.
Merci pour le lien, intéressant oui, après une lecture rapide, cela donne l'impression d'une science à étage, au sommet les revues traditionnelles, le top, en dessous les méga-revues, ensuite Arxiv et consorts (sans reviewing ) donc plus on descend dans les étages, plus il faut faire attention (je caricature à peine).

[Sofaminou]

Mais si c'est effectivement le cas, sur plus de 30 ans, je le constate à mon échelle dans tous les métiers. TOUS.

Bien sûr, et il y a des métiers où les gardes fous sont plus importants que d'autres.