De quoi dépend la validité d'un travail scientifique ?

[shmikkki]

Merci, y-a-t-il des critères visuels de cohésion interne d'une publication, esthétique par exemple ?

Esthétique, je ne pense pas (hormis peut être certains graphs).
Mais par contre les règles d'écriture d'une publis sont extrêmement précises. La preuve en est la difficulté que l'on peut avoir à écrire son premier article en tant que doctorant.

Autant avant les règles étaient moins strictes (je trouve personnellement que les vieilles publis - genre + de 40 ans - sont beaucoup plus horribles à lire que les récentes. Il n'y a bien souvent pas le "pré-machage" de l'intro et tu tombe rapidement dans le "brutal" ).

Après bon ... on peut aussi en avoir par dessus la tête de lire tout le temps les même intro standardisées (beaucoup ne lisent d'ailleurs plus les intros).
-----

[JPL]

Merci, y-a-t-il des critères visuels de cohésion interne d'une publication, esthétique par exemple ?

Non, c'est des critères de logique (pour simplifier grossièrement). Par exemple une conclusion qui paraît en dire plus que ce que les données montrent réellement. Parfois un raisonnement qui se fait des nœuds, ce qui arrive parfois quand l'auteur a manifestement une idée préétablie et essaie de la faire coller à ses résultats. Etc.

[JPL]

Je n'ai connu qu'un exemple de critère "esthétique" : c'est en microscopie (électronique en particulier, mais parfois aussi optique) où l'image peut montrer à un œil exercé que la structure biologique a été plus ou moins bien préservée, ou que ce décrit l'auteur est peut-être tout simplement un artefact subtil.

[invite2ec994dc]

Non, c'est des critères de logique (pour simplifier grossièrement). Par exemple une conclusion qui paraît en dire plus que ce que les données montrent réellement. Parfois un raisonnement qui se fait des nœuds, ce qui arrive parfois quand l'auteur a manifestement une idée préétablie et essaie de la faire coller à ses résultats. Etc.

Si je ne suis pas spécialiste de la question, est-ce qu'un raisonnement avec des nœuds peut m'être perceptible ?

Tu as utilisé l'expression "artéfact subtil" est-ce un mot pudique pour dire qu'il a fait du photo-shop ?

[Geb]

Désolé de peut être casser l'ambiance, mais non ...
C'est certes une réalité bien triste, mais beaucoup d'article sont cités sans être lu (j'ai pas mal d'exemples en tête parfaitement concrets si vous voulez des exemples).

J'ignorais que ce travers (si je puis me permettre ce terme un peu fort) était si répandu. En ce qui me concerne j'étais plus au fait d'un autre travers, mais j'ignore si ça porte un nom. En 1959, Stanley Miller et Harold Urey ont écrit un papier dans lequel ils estimaient entre autre la quantité d'énergie disponible pour la synthèse organique abiotique grâce à l'énergie des éclairs (voir tableau 1 page 247). Miller l'avait déjà fait en 1955, mais d'une façon moins exhaustive.

Pour ce faire, Miller & Urey ont repris des données relatées dans un livre célèbre intitulé "Atmospheric Electricity" de Basil Schonland (1896-1972). Miller & Urey se sont basés sur la seconde édition de cette ouvrage (1953) qui contenait sans doute les données les plus récentes à l'époque. Or, la première édition de cet ouvrage remonte à 1932 (!). Justement, les données quant au nombre d'éclairs par an sur la planète (citées dans la première et la deuxième édition de Schonland) sont tirées d'un article de Charles Ernest Pelham Brooks (1888-1957) publié en 1925 et intitulé "The distribution of thunderstorms over the globe". Évidemment, il s'agissait à l'époque d'extrapolations grossières (notamment une généralisation planétaire des données du nord de l'Europe et de l'océan Atlantique), mais Schonland ne s'en inquiète pas en 1932, puisqu'il était difficile de faire mieux à l'époque.

En 1991, Christopher Chyba & Carl Sagan faisaient l'observation suivante : le papier de Urey & Miller de 1959 a été utilisé des centaines de fois comme modèles dans des publications (et même dans des syllabi de cours), dans lesquelles sont repris telles quelles les estimations des sources d'énergie disponibles pour la synthèse organique abiotique, dont celle du nombres d'éclairs par an, qu'il conviendrait pourtant de revoir.

Avant lui, personne à ma connaissance n'avait remarqué que tout le monde citait des résultats de 1925. Et ça continue encore aujourd'hui puisque je connais un exemple d'un cours d'exobiologie / astrobiologie édité en 2004 qui cite telles quelles les estimations du papier de 1959 d'Urey & Miller (voir tableau 1.4 en page 18), mais en prenant soin de ne citer aucune source pour les données présentées (peut-être par honte de citer un papier complètement dépassé de 1959 dans un cours ?).

Je déplore donc par cet exemple le fait que certains ne s'attachent pas à retrouver la source originale des données expérimentales et se contentent d'une citation, d'une citation, d'une citation, d'une citation... de la source originale. Conduisant au très célèbre problème du bouche-à-oreille : ce qu'on rapporte n'est probablement pas ce qui a été dit à la base.

Cordialement.

[JPL]

Je parle d'un défaut parfois difficile à détecter dans la préservation des structures. Artefact s'emploie en microscopie biologique pour décrire une structure cellulaire altérée ou totalement artificielle induite par un défaut de préservation ou de coloration "à l'insu du plein gré" de l'expérimentateur. Cela n'a pas dans ce contexte le sens de structure créée volontairement par une activité humaine.

[invite2ec994dc]

Je parle d'un défaut parfois difficile à détecter dans la préservation des structures. Artefact s'emploie en microscopie biologique pour décrire une structure cellulaire altérée ou totalement artificielle induite par un défaut de préservation ou de coloration "à l'insu du plein gré" de l'expérimentateur. Cela n'a pas dans ce contexte le sens de structure créée volontairement par une activité humaine.

Tu parles donc de phénomènes que seul l'initié peut détecter.
Le non-initié est-il en mesure de mettre en évidence un raisonnement noué ?

[JPL]

Les tiens assez souvent

[invite2ec994dc]

Les tiens assez souvent

Ok ! Pourrais tu donner un critère simple qui permet de mettre en évidence de tel raisonnement ?

[ansset]

Je parle d'un défaut parfois difficile à détecter dans la préservation des structures. Artefact s'emploie en microscopie biologique pour décrire une structure cellulaire altérée ou totalement artificielle induite par un défaut de préservation ou de coloration "à l'insu du plein gré" de l'expérimentateur. Cela n'a pas dans ce contexte le sens de structure créée volontairement par une activité humaine.

apparté HS:
je crois que le terme exact de l'auteur ( bien connu ) de cette "interviouve" était :
"à l'issue de mon plein gré"
ps : je ne me moque pas des sportifs en général ....

[shmikkki]

Wah!!!
Geb, je suis à chaque fois surpris par tes connaissances bibliographiques, c'est impressionnant!
Merci pour l'exemple en tout cas!

Je déplore donc par cet exemple le fait que certains ne s'attachent pas à retrouver la source originale des données expérimentales et se contentent d'une citation, d'une citation, d'une citation, d'une citation... de la source originale. Conduisant au très célèbre problème du bouche-à-oreille : ce qu'on rapporte n'est probablement pas ce qui a été dit à la base.

Et le pire c'est que la baisse des budgets du CNRS n'arrange rien.
Par exemple on a de plus en plus de mal à trouver des articles vieux de plus de 2000. Car le CNRS n'a plus l'argent pour payer les droits de tous les articles de toutes les revues. Donc ils préfèrent garder autant de revues que possible, mais du coup ne paye plus pour les publis d'avant 2000.
On en arrive que lorsque on veut citer un article de 1992 par exemple (et le lire ....), ben on se contente de citer la review de 2006 qui le cite. Perso, c'est le genre de chose qui me scandalise ... le pauvre chercheur qui a fait le boulot en 1992 ne sera donc plus "récompensé" (le mot est mauvais je sais ... "apprécier") à sa juste valeur. Et comme tu le dis, on se contente de citer des citations (ça se voit de plus en plus).

[Geb]

Wah!!!
Geb, je suis à chaque fois surpris par tes connaissances bibliographiques, c'est impressionnant!
Merci pour l'exemple en tout cas!

Merci, mais c'était facile. L'origine de la vie est un domaine qui me passionne (pour ne pas dire qui m'obsède), tout autant que l'histoire de ce domaine de recherche. D'autant que je n'ai pas le prestige du diplôme universitaire pour faire valoir mon point de vue (notamment sur le forum) dans aucun domaine. Je me sens donc obligé de retrouver les sources originales et de les lire avant d'écrire des bêtises. Même si ça m'arrive quand même, évidemment. Pour ma défense, je ferais sans doute plus d'efforts si je devais écrire une publication scientifique.

J'en reviens au sujet de ce fil :

Et le pire c'est que la baisse des budgets du CNRS n'arrange rien.
Par exemple on a de plus en plus de mal à trouver des articles vieux de plus de 2000. Car le CNRS n'a plus l'argent pour payer les droits de tous les articles de toutes les revues. Donc ils préfèrent garder autant de revues que possible, mais du coup ne paye plus pour les publis d'avant 2000.
On en arrive que lorsque on veut citer un article de 1992 par exemple (et le lire ....), ben on se contente de citer la review de 2006 qui le cite. Perso, c'est le genre de chose qui me scandalise ... le pauvre chercheur qui a fait le boulot en 1992 ne sera donc plus "récompensé" (le mot est mauvais je sais ... "apprécier") à sa juste valeur. Et comme tu le dis, on se contente de citer des citations (ça se voit de plus en plus).

Dans le cas que j'ai cité plus haut, d'après Google scholar, depuis 1991 le papier de Chyba & Sagan a été cité 57 fois, tandis que le papier de Miller & Urey a été cité 540 fois (toujours depuis 1991). Finalement, c'est ceux qui ont raison (de revoir les données) qui sont (métaphoriquement) passés sous silence.

Comment pourrait-on appeler ça ?

Cordialement.

[minushabens]

Cette histoire d'éclairs m'a l'air un peu atypique quand-même.

Et par ailleurs ce n'est pas vrai qu'on ne lit pas les publis qu'on cite. Ce qu'il m'arrive de citer sans l'avoir lu, c'est l'article de référence qui décrit tel phénomèe pour la première fois, et qu'on est un peu obligé de citer. Par exemple si je travaillais sur le HIV (ce n'est pas le cas) je suppose que je serais obligé de citer un article de Montagnier qui décrit le virus pour la première fois, et peut-être que je le ferais sans l'avoir lu. Mais ça ne signifierait pas que je suis ignorant de ce qu'est le HIV, et ça ne mettrait pas en cause la qualité de la recherche.

[Geb]

Cette histoire d'éclairs m'a l'air un peu atypique quand-même.

Peut-être, en tout cas je l'espère. Parce que dans le papier de Charles Brooks de 1925, il y avait apparemment 2 estimations chiffrées (selon ce qu'en rapporte Schonland) :

- environ 100 éclairs par seconde,
- environ 1800 orages à n'importe quel moment sur la planète.

Tu serais sans doute étonné de voir combien de publications scientifiques (parfois très récentes) reprennent ces estimations sans citer aucune source.

Malheureusement, le papier de Brooks n'est pas accessible sur internet, mais je recopie ci-après un résumé de l'article de Brooks, paru la même année (soit en 1925) dans la revue Ciel et Terre, le bulletin de la Société Belge d'Astronomie :

Étude sommaire de la distribution des orages à la surface du globe

(Page 195)

Meteorological Office. — Brief summary of the distribution of thunderstorms over the globe, bij C. E. P. Brooks, M. Sc. Geographical Memoirs N° 24.
[Étude sommaire de la distribution des orages à la surface du globe.]
La détermination de la fréquence des orages aux différents points de la surface du globe offre un grand intérêt au point de vue des recherches relatives à l'électricité atmosphérique; elle est aussi très utile pour la fixation des routes de l'air pour les avions ou les navires aériens. Les observations qui ont servi de bases à ce présent travail sont de 3265 (2680 en Europe, le reste sur mer) et se répartissent sur un certain nombre d'années; on en a déduit des moyennes mensuelles et annuelles. Des cartes montrent les fréquences moyennes annuelles et aussi d'octobre à mars et d'avril à septembre; sous forme de tableaux on y trouvera les fréquences mensuelles sur les continents, les océans et le globe entier, calculées en supposant que les orages notés en un lieu sont valables sur une aire enveloppante de 200 milles carrés (800 kilomètres carrés). Si la surface de la terre est divisée en un million de

(Page 196)

sections de ce genre, on peut admettre qu'il y a en moyenne 16 orages annuellement par section, soit 44 000 par jour sur l'ensemble du globe, ou 16 000 000 par an, et enfin si l'on donne à chaque orage une durée d'une heure, il y a environ 1800 orages à chaque instant. L'auteur a discuté aussi brièvement la variation diurne et la variation en hauteur des orages étudiés.

À l'occasion, ça vous donne une meilleure idée du caractère sommaire de la méthode de Brooks. Le fait est qu'on pourrait sûrement faire mieux à notre époque.

Cordialement.

[myoper]

Ok ! Pourrais tu donner un critère simple qui permet de mettre en évidence de tel raisonnement ?

Oui: le contre-exemple.

[shmikkki]

Et par ailleurs ce n'est pas vrai qu'on ne lit pas les publis qu'on cite.

Alors là je ne suis pas du tout d'accord avec toi ...
Je vois de ça tous les jours dans mon labo (et je l'ai fait aussi!).
Relis mon message précédent, quand il s'agit des statistiques souvent on cite sans vraiment savoir pourquoi cette méthode est bien ou pas. (car ça dépasse beaucoup trop notre champ de compétences)

[minushabens]

Bon il se trouve que je suis statisticien... mais pour ma part je lis les papiers que je cite, au moins en diagonale, sauf comme je le disais certains articles "historiques" dont je sais que l'essentiel je l'ai lu ailleurs. Récemment par exemple je citais un papier de Pauling sur l'hémoglobine, datant des années 50. Ce qu'il y a dedans je crois que je le sais par ailleurs.

[myoper]

Relis mon message précédent, quand il s'agit des statistiques souvent on cite sans vraiment savoir pourquoi cette méthode est bien ou pas. (car ça dépasse beaucoup trop notre champ de compétences)

On rigole mais il faudrait vraiment remettre les statistiques au premier plan pour ceux qui s'en servent pour juger ou faire les études ; ou alors des statisticiens la ou il faut !

[shmikkki]

Bon il se trouve que je suis statisticien... mais pour ma part je lis les papiers que je cite, au moins en diagonale, sauf comme je le disais certains articles "historiques" dont je sais que l'essentiel je l'ai lu ailleurs.

Alors bravo à toi.
Peut être aussi que tu as les compétences pour apprécier les papiers de statistiques pures.
Mais perso j'ai pourtant fait un master biostatistiques et modélisation, je fais durant ma thèse quasiment que des statistiques (génétique quantitative), et malgré tout ça je ne comprend pas énormément d'articles en biostatistiques (ou je m’arrête simplement à la conclusion générale de l'article ... de type "il faut inclure tel effet dans le modèle sinon c'est biaisé" ... "pourquoi?" ... "ben je ne sais pas trop, une histoire de variance de l'erreur d'estimation".

[shmikkki]

On rigole mais il faudrait vraiment remettre les statistiques au premier plan pour ceux qui s'en servent pour juger ou faire les études ; ou alors des statisticiens la ou il faut !

Absolument d'accord!
Mais parfois, les statistiques vont plus vite que la biologie ...

Puis des fois on a aussi l'inverse qui se passe: Des statisticien qui nous construisent un modèle génial, mais qui est quasi impossible à utiliser dans la "vrai" vie (Je pense que les physiciens doivent encore plus rencontrer ce genre de problème que nous).

[ansset]

Relis mon message précédent, quand il s'agit des statistiques souvent on cite sans vraiment savoir pourquoi cette méthode est bien ou pas. (car ça dépasse beaucoup trop notre champ de compétences)

bonjour,
pas uniquement.
il me semble que s'il fallait dans l'article décrire précisément le modèle utilisé , celà risquerait de prendre la place de l'article , ou bien il serait nécessaire de renvoyer à une annexe longue comme le bras.
cdt.

[Deedee81]

SAlut,

il me semble que s'il fallait dans l'article décrire précisément le modèle utilisé , celà risquerait de prendre la place de l'article , ou bien il serait nécessaire de renvoyer à une annexe longue comme le bras.

Cela n'empêche pas nécessairement l'auteur de comprendre ce qu'il utilise et cite.

Mais de ce que je retire surtout des remarques précédentes il y a lire et... lire. On peut lire en profondeur et maitriser, lire en diagonale, lire seulement les résultats en faisant confiance, ...
Je crois que c'est aussi une question de capacité de jugement (on n'a pas nécessairement besoin de lire en profondeur et il faut être capable de juger l'article en se disant "est-ce que j'accepte ça comme argent comptant ou est-ce que je fais l'effort de vérifier ?")

[ansset]

Cela n'empêche pas nécessairement l'auteur de comprendre ce qu'il utilise et cite.

je n'avais pas saisi qu'on parlait de l'auteur, mais surtout du lecteur.
cordialement.

[minushabens]

Tous les articles dont on a besoin pour un travail et qu'on va peut-être citer ne sont pas sur un pied d'égalité. Si je reprends l'exemple du chercheur qui travaille sur l'évolution du VIH (parlons Français), il est évident qu'il ne va pas lire de la même façon un article sur la phylogénie des VIH et un article qui décrit une méthode générale de construction d'arbres phylogénétiques. Le premier il lui faudra l'éplucher en détail, le second juste comprendre les hypothèses sous-jacentes et les propriétés, mais sans nécessairement comprendre tous les détails techniques. Un chercheur est capable de savoir jusqu'où il doit maîtriser les techniques qu'il utilise. Il n'y a qu'en maths (et encore...) qu'on a besoin de tout comprendre sans laisser le moindre coin d'ombre.

[Deedee81]

je n'avais pas saisi qu'on parlait de l'auteur, mais surtout du lecteur.
cordialement.

Les deux sont utiles. En plus de la capacité de jugement sur les articles utilisés et cités, il faut aussi joindre la capacité à juger du "niveau de détail" à mettre dans l'article pour que ce soit à la fois utile et non rébarbatif pour le lecteur.

Bref, on l'aura écrire, pondre un bon article est un art

Il n'y a qu'en maths (et encore...) qu'on a besoin de tout comprendre sans laisser le moindre coin d'ombre.

Et encore ! Imagine que tu ponds une démonstration et que pour cela tu utilise le résultat du théorème XYZ que tu découvres être très utile pour tes besoins. Si tu ne connais pas les détails de la démonstration, si celle-ci fait cinquante page ardues et que le théorème a été été validé par la communauté, il y a fort a parier que tu ne vas pas t'amuser à relire en détail toute la démonstration.

Bien qu'il est vrai qu'en math les cas de "maitrise et connaissance complète" des articles cités doit être beaucoup plus fréquente que dans les autres disciplines.

[shmikkki]

Un chercheur est capable de savoir jusqu'où il doit maîtriser les techniques qu'il utilise.

Je suis d'accord avec toi sur ce point. Mais cela devient beaucoup plus compliqué lorsque les techniques sont extrêmement récentes (et donc sujet encore à discussion), que plusieurs articles se contredisent sur la technique en questions, que tes compétences sont dépassées sur le sujet ... et surtout .... que tu veux être le premier à publier sur tel sujet en utilisant telle méthode, et donc aller vite (h index quand tu nous tiens ...)

[Deedee81]

Et puis, n'ayons pas honte de le dire, il y a de mauvais chercheurs (*), et aussi d'excellents chercheurs mais totalement nuls pour mettre ça au propre sur papier.

C'est aussi pour cela qu'on travaille en équipe, qu'il y a des processus de validation des articles, etc...

(*) Ce n'est pas tout à fait dans ce sens là que je l'entendais, mais pour le curieux qui ne connaitrait pas : http://fr.wikipedia.org/wiki/Prix_Ig_Nobel

[invite2ec994dc]

Bonjour,

Alors pourquoi ne pas définir pour chaque travaux un coefficient de crédibilité scientifique, dont les modalités de calcul serait laissé à un comité choisis par l'ensemble des chercheurs ?


Cordialement.

[Deedee81]

Bonjour,

Alors pourquoi ne pas définir pour chaque travaux un coefficient de crédibilité scientifique, dont les modalités de calcul serait laissé à un comité choisis par l'ensemble des chercheurs ?

Pourquoi pas ?

Mais je me méfie un peu. C'est un peu comme le QI. Les notions de crédibilité (ou de validité ou d'utilité) ne se traduisent probablement (il faut peut-être y réfléchir) par par un simple nombre. Des critiques plus précises et mieux étayées par des referee sont certainement mieux venue...... même si ça nécessite beaucoup plus de travail.

Les indices de ce type sont souvent critiqués. Il en existe un très utilisé en science : l'indice de citation. Très utile, avec raison, et très critiqué, avec raison

[JPL]

Parce que tu crois que les chercheurs ne sont pas régulièrement évalués ? La question est que chaque pays a ses propres règles et ces évaluations ne valent qu'à usage interne pour les organismes qui les emploient. En réalité les spécialistes d'une discipline ont une bonne idée de la qualité habituelle des travaux de leurs collègues, ce qui ne garantit rien sur les publications suivantes : on a vu des chercheurs à juste titre réputés se planter, voire frauder à partir d'un certain moment, et on a vu des chercheurs moyens sortir un jour un travail remarquable.

On pourrait aussi mettre une note pour chaque participant au forum ?