De quoi dépend la validité d'un travail scientifique ?

[myoper]

Alors pourquoi ne pas définir pour chaque travaux un coefficient de crédibilité scientifique, dont les modalités de calcul serait laissé à un comité choisis par l'ensemble des chercheurs ?

Un comité de lecture avant validation de la publication du travail ?
-----

[contrexemple]

Un comité de lecture avant validation de la publication du travail ?

Non, le comité mettrait au point un algorithme, qui permettrait de tirer de chacun des travaux un coefficient de crédibilité scientifique?

[Deedee81]

Non, le comité mettrait au point un algorithme, qui permettrait de tirer de chacun des travaux un coefficient de crédibilité scientifique?

Répondu plus haut. Ca me semble assez douteux. Je ne pense pas que la crédibilité (ou tout autre qualificatif) se laisse quantifier facilement. Il vaut mieux une critique étayée et nuancée.

[shmikkki]

Non, le comité mettrait au point un algorithme, qui permettrait de tirer de chacun des travaux un coefficient de crédibilité scientifique?

Mon dieu quel horreur ...
Pour compléter le dernier post de JPL avec lequel je suis parfaitement d'accord, on est tellement évalué tout le temps qu'au bout d'un moment faut s’arrêter!
Quand tu lis les rapports de l'AERES (oui j'ai lu celui de mon labo ... ), je peux te dire que tu peux te voir rassurer: Les chercheurs sont bien évalués, jusque dans les moindres détails.

Notons que le h-index est un indice qui fait plus que débat (enfin, je suis poli ... je n'ai jamais entendu un chercheur en dire du bien).

J'ai toujours trouvé ça bancale de vouloir évaluer la connaissance ... (Parce que que c'est exactement ça que fait l'H-index).

Puis surtout ce qui me choque dans ton propos c'est le mot "algorithme". Tu pense franchement qu'il peut exister un algorithme disant ce qui est scientifique de ce qui ne l'est pas??!!

[Deedee81]

Tu pense franchement qu'il peut exister un algorithme disant ce qui est scientifique de ce qui ne l'est pas??!!

On peut certainement établir des règles, non pas pour décider de ce qui est scientifique mais de ce qui mérite publication, par exemple sur la forme (présence de références, orthographe, termes utilisés biens définis, descriptions expérimentales complètes, affirmations étayées, etc...) à appliquer par des humains (je vois mal une machine faire ça).

Mais je regarderais ce indice avec un drôle d'oeil (c'est bien pire que le h-index si tu veux mon avis). On ne peut se passer de scientifiques connaissant bien le sujet et jugeant sur le fond.
D'une manière générale, il y a des sites où l'on peut déposer des articles et où d'autres scientifiques/auteurs peuvent émettre des commentaires. Cela me semble une bien meilleure option.

Ce serait, amha, une très mauvaise idée d'établir un tel "coefficient de crédibilité".

J'ai une question : les commentaires des referre, c'est public ou bien réservé à l'auteur d'une publication ?

[JPL]

J'ai une question : les commentaires des referre, c'est public ou bien réservé à l'auteur d'une publication ?

À l'époque où j'étais dans le coup c'était destiné à l'éditeur qui transmettait à l'auteur qui en tenait compte... ou non. Je me souviens d'un rapport que j'avais écrit... en pure perte. Non que le travail ait été mauvais mais il aurait fallu retravailler un peu certains points de l'article, ce qui n'a pas été fait.

[Deedee81]

À l'époque où j'étais dans le coup c'était destiné à l'éditeur qui transmettait à l'auteur qui en tenait compte... ou non. Je me souviens d'un rapport que j'avais écrit... en pure perte. Non que le travail ait été mauvais mais il aurait fallu retravailler un peu certains points de l'article, ce qui n'a pas été fait.

Ok merci,

Je me demande si ce ne serait pas intéressant que les commentaires ou des commentaires soient systématiquement diffusés, peut-être avec accord préalable de l'auteur. Ca peut être fort intéressant pour un lecteur maîtrisant un peu moins bien le domaine (ce qui est tout à fait dans la continuation de ce qui avait été dit sur les citations d'articles pour lesquels on n'a pas nécessairement la compétence pour en juger de la qualité).

Mais, bon, on ne va pas remodeler les pratiques éditoriales depuis un forum

[myoper]

Non, le comité mettrait au point un algorithme, qui permettrait de tirer de chacun des travaux un coefficient de crédibilité scientifique?

Pourtant ça répond assez à votre définition (hormis le fait que vous préjugez de ce que ferait ce comité):

Alors pourquoi ne pas définir pour chaque travaux un coefficient de crédibilité scientifique, dont les modalités de calcul serait laissé à un comité choisis par l'ensemble des chercheurs ?

Difficile de vous répondre quand vous n'acceptez plus vos propres prémices...

[minushabens]

Je me demande si ce ne serait pas intéressant que les commentaires ou des commentaires soient systématiquement diffusés, peut-être avec accord préalable de l'auteur.

En général les referees écrivent des commentaires et font des suggestions, et l'éditeur ajoute un commentaire général. C'est à mon avis ce commentaire général qui pourrait être rendu public. Les commentaire des referees sont moins intéressants, et de plus il n'est pas rare qu'ils soient contradictoires. De plus ils sont la plupart du temps anonymes, et on ne peut pas publier anonymement.

[Deedee81]

il n'est pas rare qu'ils soient contradictoires.

Ca ce n'est pas gênant. C'est même intéressant.

De plus ils sont la plupart du temps anonymes, et on ne peut pas publier anonymement.

Mais ça c'est en effet un problème.

De toute façon, je suis d'accord avec toi. Un résultat retravaillé peut être plus intéressant. C'est pour ça que je disais "ou des" commentaires.

Mais si on veut systématiser, ça risque d'être un sacré boulot. Et si on veut l'étendre aux publications sans referee (sur les archives ouvertes par exemple), ça devient même titanesque.

[minushabens]

Je ne suis pas certain que ça ait un réel intérêt. Il faut voir qu'on envoie un premier manuscrit, on récupère des commentaires, puis on renvoie une version corrigée. Parfois il y a encore un round de commentaires/corrections. Pour que le lecteur comprenne les commentaires il faudrait publier la première version du manuscrit. Mais parfois il y a des changements importants. Donc à mon avis ça ne ferait qu'ajouter de la confusion.

[saint.112]

Alors pourquoi ne pas définir pour chaque travaux un coefficient de crédibilité scientifique, dont les modalités de calcul serait laissé à un comité choisis par l'ensemble des chercheurs ?

Non, le comité mettrait au point un algorithme, qui permettrait de tirer de chacun des travaux un coefficient de crédibilité scientifique?

Tu devrais te poser la question : “Est-ce que ceci est de mon domaine de compétence ?“ Ce qui devrait te permettre de répondre à la question suivante : “Est-ce que je peux avoir un avis pertinent sur un tel sujet ?“
Normalement dans les deux cas la réponse devrait être non.

Les amateurs comme toi et moi ne peuvent pas avoir d'avis personnel sur une telle question. Ça nous dépasse totalement.

Nico

[Deedee81]

Salut,

Les amateurs comme toi et moi ne peuvent pas avoir d'avis personnel sur une telle question. Ça nous dépasse totalement.

Pour juger d'un travail en effet (de même pour moi dans bien des domaines). Mais pour se poser la question "comment puis-je savoir si ce travail est crédible ?" ça, vous avez tous le droit de vous la poser et c'est aussi une question que je me pose lorsque je lit des articles sortant totalement de mon champ de compétence. C'est d'ailleurs l'objet de ce fil (qui est devenu un peu long, montrant bien que la question n'est pas simpliste).

[saint.112]

Pour juger d'un travail en effet (de même pour moi dans bien des domaines). Mais pour se poser la question "comment puis-je savoir si ce travail est crédible ?" ça, vous avez tous le droit de vous la poser et c'est aussi une question que je me pose lorsque je lit des articles sortant totalement de mon champ de compétence. C'est d'ailleurs l'objet de ce fil (qui est devenu un peu long, montrant bien que la question n'est pas simpliste).

Je suis d'accord sur ce point. Je réagissais en fait à une proposition faite par contrexemple, proposition apparemment simplissime destinée, en toute simplicité, à résoudre un colossal problème alors que lui-même ne semble vraiment avoir ni tous les éléments en main ni les compétences tout aussi bien pour évaluer le problème lui-même que pour lui trouver une solution.
C'est un peu l'invention pour le concours Lépine comme on en voit fréquemment ici.

Quant à juger de la crédibilité d'un travail, il m'arrive d'avoir des doutes, que j'ai parfois exprimés sur FS, mais seuls les spécialistes sont capables de trancher. Ça m'a valu récemment de me faire traiter en substance de béni-oui-oui sur ce même forum. Grandeur et servitude de la science !

Beaucoup de gens en concluent que ce serait seulement l'argument d'autorité qui primerait. Que la seule autorité soit la preuve est une notion qu'il est parfois difficile à faire à comprendre à certains.

Nico

[Deedee81]

Quant à juger de la crédibilité d'un travail, il m'arrive d'avoir des doutes, que j'ai parfois exprimés sur FS, mais seuls les spécialistes sont capables de trancher.

Ce qui est de bon aloi puisque lorsque j'ai moi-même un doute, je cherche s'il existe des commentaires d'autres spécialistes.

Ça m'a valu récemment de me faire traiter en substance de béni-oui-oui sur ce même forum. Grandeur et servitude de la science !

Ou incompréhensions, bien à l'image de notre part d'humanité. Tu remarqueras qu'une bonne moitié si pas plus des accrochages sur Futura sont dû à de simples difficultés à se comprendre (en général, ça se règle assez vite).

Beaucoup de gens en concluent que ce serait seulement l'argument d'autorité qui primerait. Que la seule autorité soit la preuve est une notion qu'il est parfois difficile à faire à comprendre à certains.

Pour moi l'autorité n'est qu'un premier filtre, surtout utile. Face aux milliers de textes pondus chaque année, impossible de tout lire, de tout analyser, tout juger. Il faut forcément une première sélection. Et piocher dans des articles déjà validés est une bonne idée (ce qui ne veut pas dire que l'on doit piocher uniquement dans ces articles. Autorité scientifique n'est pas synonyme d'inquisition Et on trouve parfois d'ailleurs de jolies perles ailleurs. Rappelons d'ailleurs que Perelman a publié sa démonstration du théorème de Poincaré (*) sur Arxiv et non via les canaux "habituels", enfin, au début du moins. Ce qui a quelque peu déconcerté l'institut Clay qui avait posé ça comme condition au départ pour les prix du Millenium).

(*) j'y ait jeté un oeil d'ailleurs. Snif, là franchement, c'est trop haut au-dessus de ma petite tête. Faudrait que je m'acharne pour arriver à digérer ça.

[saint.112]

Ce qui est de bon aloi puisque lorsque j'ai moi-même un doute, je cherche s'il existe des commentaires d'autres spécialistes.

Très bon aloi, en effet.
La différence est qu'il faudrait tout de même des erreurs très grossières pour que je sois capable de les déceler. Je ne parle naturellement pas de ce qu'on peut lire dans la presse généraliste où c'est parfois n'importe quoi. Dans la presse spécialisée je vois parfois des trucs à mon avis capillotractés et c'est là que je paraphrase une réplique bien connue : « Bizarre, bizarre… »

Ou incompréhensions, bien à l'image de notre part d'humanité. Tu remarqueras qu'une bonne moitié si pas plus des accrochages sur Futura sont dû à de simples difficultés à se comprendre (en général, ça se règle assez vite).

Je te trouve bien optimiste. Il y a eu récemment quelques discussions qui ont viré à l'aigre avant clôture.

Pour moi l'autorité n'est qu'un premier filtre, surtout utile. Face aux milliers de textes pondus chaque année, impossible de tout lire, de tout analyser, tout juger. Il faut forcément une première sélection.

Il y a tout de même une différence entre :

• l'argument d'autorité traditionnel auquel ont été confrontés les Copernic, Galilée, Kepler, etc., selon lequel la Bible, Aristote et Ptolémée avaient raison par principe, la violation de principe pouvant éventuellement conduire au bûcher (Giordano Bruno) ou à l'interdiction de publier (Galilée),
• le fait qu'on reconnaisse qu'un spécialiste reconnu dans son domaine doit très probablement avoir raison… sous réserve qu'il en apporte la preuve et jusqu'à preuve du contraire.

L'autorité du savant tient seulement à la confiance qu'on lui accorde et elle reste toute relative. Il s'est développé une sorte de culte à l'égard de Newton, pas seulement en Angleterre, qui a plus ou moins frisé l'établissement d'une autorité. Il s'est quand même établi un tri entre ce qui était vraiment démontré et les points sur lesquels il s'était planté.

Nico

[ansset]

pour répondre à la première question de manière "bourrine" ; je dirais de sa validité dans le temps.
car chercher à trouver une reponse générale "dans l'instant" pour "tous les sujets" revient à se poser des questions qui relèvent presque de l'épistémologie, mais sont non résolvables ( me semble t-il ) dans l'absolu.
celà étant, on peut toujours améliorer le système actuel.
si c'est le sens du sujet ?

[Deedee81]

Je te trouve bien optimiste. Il y a eu récemment quelques discussions qui ont viré à l'aigre avant clôture.

Ca ne représente (heureusement) qu'une fraction des fils ou parfois il y a un malentendu le temps de un ou deux messages (et souvent sans que les gens se tapent dessus, combien de fois ne lit-on pas "oh, pardon, je n'avais pas compris ça" ou du style). Mais parfois, hélas,..... D'expérience si au bout de cinq à six messages le malentendu n'est pas résolu.... sortez les gants de boxes

Il y a tout de même une différence entre :

• l'argument d'autorité traditionnel auquel ont été confrontés les Copernic, Galilée, Kepler, etc., selon lequel la Bible, Aristote et Ptolémée avaient raison par principe, la violation de principe pouvant éventuellement conduire au bûcher (Giordano Bruno) ou à l'interdiction de publier (Galilée),
• le fait qu'on reconnaisse qu'un spécialiste reconnu dans son domaine doit très probablement avoir raison… sous réserve qu'il en apporte la preuve et jusqu'à preuve du contraire.

Oui, tout à fait, et ici je l'employais dans le second sens (et aussi parce qu'il s'agit d'un travail collectif avec validation des articles par les pairs).

L'autorité du savant tient seulement à la confiance qu'on lui accorde et elle reste toute relative.

Comme le billet de banque

Sans rire, plus d'un savant à pété un câble, soit à cause d'une étrange obsession soit avec l'âge. On est humain. Donc il faut toujours rester critique.
(et je ne parle là que des cas extrêmes !!!)

Il s'est développé une sorte de culte à l'égard de Newton, pas seulement en Angleterre, qui a plus ou moins frisé l'établissement d'une autorité. Il s'est quand même établi un tri entre ce qui était vraiment démontré et les points sur lesquels il s'était planté.

Comme la lumière corpusculaire. Pas seulement Newton d'ailleurs. N'étant pas du genre à me pâmer devant des stars (je crois comme la majorité des participants de Futura ) je dois dire que ça ne me gène pas trop. On peut faire parfaitement la différence entre l'homme et ses mérites, la reconnaissance que l'on en a, et d'autre part son oeuvre avec son intérêt et ses limites.