Recherche : le bilan des établissements publics

[Futura]

Bonjour,

Je lance ici une discussion sur ce thème suite à deux articles :

• un premier du journal "Les Echos" ;
• le droit de réponse du professeur Axel Kahn - directeur de l'Institut Cochin - sur des assertions qualifiées de mensongères.

Extraits choisis :

Un rapport du CNRS classe les établissements de recherche selon leur productivité scientifique, c'est-à-dire le nombre de publications et le nombre de citations.

Bref le système est complexe et plein de biais. Mais c'est le meilleur actuellement disponible et il permet de faire des comparaisons entre organismes et dans la durée. En France, certains lui reprochent de faire la part belle au modèle anglo-saxon. A contrario, d'autres comme le professeur Philippe Even de l'institut Necker estiment qu'il manque de rigueur en ne prenant pas en compte la notoriété des revues. Au total, la France qui investit 2,15 % de son PIB dans la recherche (dont 1,06 % du PIB sur des fonds publics) est au cinquième rang mondial. Qualitativement, elle fait moins bien que des pays dont l'effort budgétaire est inférieur : Royaume-Uni, Canada, Pays-Bas, Ecosse, Belgique, Danemark (lire " Les Echos " des 8, 9 et 10 janvier 2007). Le classement par établissements dresse un portrait original de la recherche académique hexagonale. Il révèle tout d'abord d'incontestables points forts. Quatre champions accèdent au podium : Paris VI, médaille d'or en mathématiques, l'Inra, avec deux places de second (sciences agricoles et biologie végétale et animale), et l'institut Pasteur, qui décroche l'argent en microbiologie. Derrière ces centres d'excellence, plusieurs établissements tiennent bien leur rang : les départements de chimie, physique, ingénierie et biologie-biochimie, du CNRS, l'immunologie de Pasteur, la physique et l'ingénierie du CEA. Trois universités sont clairement au-dessus du lot : Paris VI (chimie, mathématiques et toutes disciplines), Paris XI (physique et toutes disciplines) et Strasbourg I (chimie et toutes disciplines). D'autres centres affichent des résultats décevants. C'est le cas de l'Institut Cochin de génétique moléculaire à Paris, dont le très médiatique patron Axel Kahn saute sur tous les micros pour dénoncer la misère de la recherche française. Ce centre, bien doté en moyens humains et financiers, ne cesse de perdre du terrain au niveau national (97e en 2006, contre 78e en 2004) et navigue au 1.550e rang mondial dans la médecine clinique.

Le tableau présenté aussi bien que le commentaire qui met gravement en cause le travail et la compétitivité des chercheurs, ingénieurs et techniciens de l’Institut Cochin (Unité 567 de l’Inserm, Unité mixte de recherche 8104 du CNRS, Laboratoire de l’Université Paris Descartes) ne peuvent que tromper les lecteurs. Peut-être est-ce leur but ?

Le classement qualitatif présenté est basé sur le nombre de fois que les chercheurs d’un organisme ou d’un laboratoire sont cités dans des articles scientifiques, mais n’est pas corrigé pour les effectifs de cet organisme ou de ce laboratoire. C’est ainsi bien la moindre des choses que des établissements ayant 12.000 chercheurs (CNRS), 3000 (Inserm)…. soient plus cités que l’Institut Cochin (qui fait partie de l’Inserm et du CNRS) et qui ne compte que 180 chercheurs et enseignants chercheurs.

-----

[invite73192618]

La méthodologie pour compter les articles de tel ou tel organisme est de toute façon douteuse. L'INSERM avait ainsi fait circuler dans ses rangs une mini-étude montrant que seule une petite fraction (10%?) des papiers produits par l'inserm étaient correctement attribués à cet organisme. Si je me souviens bien la farce était la suivante: si un auteur était affilié à "hopital dugenou, cnrs", alors seul hopital dugenou était crédité: pas le cnrs...

[Yoyo]

Bonsoir

Je partage aussi l'avis de Jiav! avoir une approche de la recherche basée sur la rentabilité est une absurdité... Je sais bien que toutes les evaluations (des chercheurs, des equipes et des laboratoires) est basée sur les publications! Cette methode d'évaluation est biaisée a la base, car tous les sujets ne permettent pas de publier dans les meme revues ou a une frequence élevée...donc il me semble deja impossible de mettre toutes les thematiques (meme en biologie) sur un meme plan d'egalité.

Ensuite faire une sorte de melting pot avec les articles indexés est partir du fait que les robots indexant les articles sont infaillibles, et que les auteurs des articles indiquent correctement leur affiliation
Je trouve vraiment ce genre de proces d'intention inutile, mieux vaut une grande decouverte qu'une multitude de non decouverte.

YOyo

[invite200aa768]

Bonsoir les gens,

bien sur je ne suis pas dans les details des classements et evaluations mais effectivement il y a des biais importants, tres importants meme...

Par exemple, les classements des universites est base principalement sur leur nombre de prix nobels (depuis toujours mais je ne sais pas si ils doivent etre encore en activite) et les publications des laboratoires de ces universites dans les revues de hauts "impact factor" (rang de citation d'un journal)...en sciences brute (biomedecine, physique, chimie) il s'agit en fait des revues "Nature" et "science".

Non seulemnt cette notion d'impact factor est biaisee a la base car les articles d'une revue seront evidemment differement cites selon la taille de la communaute scientifique associee. Il y a plus de gens qui font de la genetique de la drosophile ou qui bossent sur le diabete que de chercheurs qui travaillent sur des maladies rares ou en neuroanatomie par exemple. Alors meme qu'ils appartiennent tous a des universites avec des labos de biologie donc en competition sur le meme classement.

Ensuite, en France, il y a un probleme serieux du au fait qu'il existe des instituts de recherches qui ne sont QUE associes a des universites. INSERM, CNRS, INRA...leurs laboratoires sont rataches a des universites en general, et ils en tirent un (maigre) financement. MAIS, lorsqu'un article est publie, les auteurs se referencent plus souvent comme appartenant a l'INSERM, CNRS...et oublient de marquer qu'ils sont aussi dependants de telle ou telle fac. Donc, leur publication n'apparaitra pas comme attachee a l'universite.

J'avais entendu le president d'une universite a Grenoble u Lyon dire qu'il y a deux ans, leur plus gros labo d'informatique avait publie 100 ou 200 articles, seuls une dizaine etait correctement indiques comme rattache la fac.

Dans les autres pays, il est rare d'avoir un systeme comme ca. Les labos sont tous universitaires et les chercheurs tous profs aussi. Donc toute publication se reference comme attachee a une universite.

Quand j'etais encore en France, a l'INSERM pour ma these, on nous avait fait passe un memo pour nous indiquer de bien ecrire sur les publis notre universite de rattachement.


Quant a la question des prix nobels, je n'en parle meme pas...la, la France a 50 annees lumiere de retard.

Par ailleurs, dans le classement, il ne faut pas sous-estimer l'emergence tres recente des fac chinoises et indiennes. Elles innondent les journaus de publications depuis 3 ou 4 ans. Donc, si il y a 5 ou 10 nouvelles universites dans les 100 premieres places, ca en laissent moins pour les autres...sans que la qualite de la recherche en France ne soit touchee.


Voila, j'ai peut etre oublie quelque chose...c'est pas grave...je reviendrai...

Romain-Daniel Gosselin

[A voir en vidéo sur Futura]

[Gwyddon]

Quant a la question des prix nobels, je n'en parle meme pas...la, la France a 50 annees lumiere de retard.

Comme tout autre pays que les US

Depuis un certain temps, c'est surtout une question de lobbying j'ai l'impression... Donc se baser sur ça ce n'est pas forcément terrible terrible.

En tout cas je partage ton analyse, qui se retrouve de toute façon à tous les niveaux : ne serait-ce que dans l'enseignement, il y a un nombre incroyable de master co-habilités, mais si tu fais des recherches à leur sujet tu ne verras qu'une ou deux universités rattachées là où il y en a 5 ou 6

[Calvert]

Pour être convaincu du non fondé de tous ces classements, il suffit de comparer la dizaine de ces classement qui sort chaque année, et de se rendre compte qu'ils ne sont pas d'accord entre eux...
L'avantage, c'est que chaque université peut trouver un classement où elle figure en bonne place, et le placer dans tous les rapports/cérémonie de diplôme/communiqué/etc...

[inviteb73ce398]

Je pense aussi que ces classements sont a prendre avec d'enormes pincettes mais posent un vrai probleme, celui de l'evaluation de la recherche et de ses chercheurs. On tire souvent a boulet rouge sur la recherche publique (surtout en biologie) mais on pourrait en faire autant sur le prive dans le meme secteur d'activite. Je n'ai pas verifie la source d'information, mais j'ai entendu dire que l'investissement dans la R&D du prive en biologie, n'a pas augmente depuis les annees 90. Si tel est le cas, il n'y a rien d'etonnant a ce que ce secteur soit moribond. Et quoiqu'en dise les indicateurs et ceux qui les critiques, le constat est quand meme que la recherche francaise, en biologie en particulier mais pas seulement ,n'est pas au mieux. Probleme de financement certes, mais pas seulement. Tant que des reorganisations structurelles de taille ne seront pas entreprises, on sera toujours a la traine.

[invite91a69b29]

Je ne suis pas dans le milieu de la recherche, donc je ne suis pas bien placé pour en parler, même si je connais bien ce principe et ses dérives.

Vous qui êtes plongés dedans, que pourriez vous proposer comme système alternatif ?

Quelles sont les critères qui pourraient être utilisés de façon réellement objective?
Comment organiser ses critères relativement les uns par rapport aux autres ?

[volcanum]

Je ne suis pas dans le milieu de la recherche, donc je ne suis pas bien placé pour en parler, même si je connais bien ce principe et ses dérives.

Vous qui êtes plongés dedans, que pourriez vous proposer comme système alternatif ?

Quelles sont les critères qui pourraient être utilisés de façon réellement objective?
Comment organiser ses critères relativement les uns par rapport aux autres ?

Mon domaine est celui des "Sciences de l'Univers" récemment devenu MIPPU au CNRS. Je ne crois pas qu'il puisse y avoir une solution miracle pour l'évaluation des chercheurs. A une époque, j'y ai beaucoup réfléchi car je faisais partie de la Section 13 du CNRS et, forcément, le problème de l'évaluation se posait souvent: labos, équipes, chercheurs, candidats aux concours...

Pour moi, l'idéal c'est lorsqu'on connaît les gens et leur domaine de recherche. A ce moment-là, on est capable de voir où se situent les collègues, quels sont leurs apports, l'orginalité de leurs travaux, etc.. Mais il y a un bias que je pense inévitable: même en essayant d'être le plus honnête possible, on a tendance à définir des critères qui vous mettent vous-même en bonne position. Par exemple, quand au début de chaque mandat d'une section du CNRS, il fallait faire une liste des revues qualifées de "rang A": inévitablement, les membres des sections énumèrent les revues où ils ont publié ! C'est humain. On peut essayer d'éliminer ce biais en disant "toute revue de facteur d'impact > 1 est de rang A", mais cela est aussi injuste car le facteur d'impact dépend de la taille du lectorat de la revue. Par exemple, avec ce critère, je crois qu'il n'y a pas de revue de paléontologie qui passe la barre (hormis Nature ou Science qui sont des revues généralistes dont le facteur d'impact est d'ailleurs principalement dû aux citations de biologie-médecine).

Actuellement, l'évaluation NUMERO 1 dans les UMR c'est le nombre de publications de rang A (au sens le plus brutal, c'est à dire facteur d'impact > 1). Je crois que c'est une pure catastrophe parce que c'est l'aspect purement quantitatif qui prime. C'est très clair depuis quelques années. Et donc, les collègues qui veulent voir leur carrière évoluer rapidement cherchent à tout prix à publier le plus possible. Dans mon domaine, cela veut dire parfois 20-30 articles par an, c'est à dire 1 toutes les deux semaines !!! Comment peut-on croire qu'il est possible de faire de la recherche originale avec un tel taux de publication ? Cette question est intéressante car la réponse dépend selon que l'on s'adresse à un individu (et là ils sont tous d'accord pour penser qu'un tel nombre de publications est grotesque) ou a un groupe (par exemple une section du CNRS) où, curieusement (je l'ai souvent constaté dans ma section) ce critère quantitatif prend beaucoup d'importance.

Comment faire pour publier à un tel taux ? Très simple: ne faire que des coups faciles et à la mode. Dans le long terme cela peut poser de sérieux problèmes car inévitablement certaines questions difficiles ne trouveront plus preneurs. Très franchement, je suis assez inquiet.

[invite200aa768]

Vous qui êtes plongés dedans, que pourriez vous proposer comme système alternatif ?
Quelles sont les critères qui pourraient être utilisés de façon réellement objective?
Comment organiser ses critères relativement les uns par rapport aux autres ?

La question est difficile, suffisement difficile pour qu'aucune reponse claire n'ait ete veritablement mise en route...

Je pense dommageable la relative "dispersion" de la recherche francaise entre les laboratoires des differentes agences de recherche publique tels CNRS, INSERM, INRA (...pour celles qui concernent les sciences non-biologique, je ne les connais que mal, desole). Il y aurait peut-etre un regroupement a faire par exemple entre le departement des sciences de la vie du CNRS et l'INSERM...mais si je me souviens bien, cela avait ete envisage...

Ensuite, a mon sens, reforcer les liens avec le secteur prive. Non seulement les colaborations, mais aussi s'inspirer de certains modes de fonctionnement. sans aller jusqu'a la brevabilite systematique des decouverte (ce qui est stupide au mieux) mais avoir dans chaque centre de recherche un comite d'evaluation et de protection de la propriete intellectuelle des decouvertes permetterait d'avoir un retour sur investissement qui soulagerait un peu les financements publiques de ces centres de recherches.


Pour les evaluations, c'est tres sensible. Effectivement la prise en compte uniquement des publications a tres haut impact factor (index de citations de la revue) n'est pas une bonne methode. Elle favorise, je pense, le "soop" scientifique sur la qualite vraie du travail. De tres bonnes revues considerees comme "intermediaires" sont sources de tres bons articles, parfois plus solides que les Science ou Nature...

[inviteb73ce398]

Je ne suis pas dans le milieu de la recherche, donc je ne suis pas bien placé pour en parler, même si je connais bien ce principe et ses dérives.

Vous qui êtes plongés dedans, que pourriez vous proposer comme système alternatif ?

Quelles sont les critères qui pourraient être utilisés de façon réellement objective?
Comment organiser ses critères relativement les uns par rapport aux autres ?

Je vais donner aussi un bref avis.
Comme il l'a ete dit, ce n'est pas simple et c'est certainement ce qui permet d'entretenir le flou artistique sur ce que l'on doit evaluer... et c'est evidemment la premiere question a se poser me semble-t-il: que doit-on evaluer? Actuellement, l'arithmetique est simple, rapport depenses publiques sur retour sur investissement (les articles publies et cites). Outre le fait que les chiffres de l'argent public depense pour la recherche d'etat varie selon les sources, se referer au nombre de publication d’un pays ou le nombre de citation est biaise. (voir les liens que je n'ai pas reussi a afficher comme je le voulai )
Si on imaginait un pays qui se devouerait a n'ecrire que des revues, avec les criteres actuels, il serait dans le top de la recherche (peu de depense, nombre de citation eleve, et souvent journaux a fort impact). Je pense pourtant que la publication est le meilleur moyen d’evaluer le travail d’un chercheur. Apres tout, c’est la fonction du chercheur de faire avancer les connaissances et de communiquer le resultat de ces decouvertes. Mais la publication d’un article dans un journal a fort facteur d’impact ne prejuge pas de la portee de la decouverte. Maintenant, il y a d’autres criteres qui fond que le chercheur est plus ou moins efficace (aide de techniciens ou d’ingenieur, temps effectif passer a faire son metier plutot qu’a remplir des paperasses, gestion et previsions des budgets et des personnels, etc) et c’est a ceux la qu’on devrait reellement s’attaquer pour continuer a jouer les premiers roles.
(voir ces liens
1-http://medicine.plosjournals.org/per...l.pmed.0030291
2-[URL="http://recherche-en-danger.apinc.org/spip.php?article1577[/URL]